Почему ИИ продолжает предлагать одну и ту же науку
Запросы к моделям ИИ для получения свежих исследовательских идей часто дают знакомые результаты. Модели, обученные на существующей научной литературе, склонны воспроизводить популярные темы, не в силах выйти за рамки устоявшихся интеллектуальных шаблонов. Их предложения группируются вокруг проторенных путей, поскольку их база знаний по своей сути ретроспективна.
Возьмем Claude: при запросе идей для исследований в области машинного обучения он часто предлагает темы, связанные с interpretability. Это перекликается с общей тенденцией в данной области, отражая высокую плотность текущих исследований человека. Модель, по сути, отражает предвзятости, присутствующие в ее обучающих данных.
Подобная динамика затрагивает и исследователей-людей. Их подготовка, коллеги и дисциплинарные сети незаметно направляют их к знакомым вопросам. Эта социальная и когнитивная обусловленность может привести к тому, что они упускают из виду правдоподобные пересечения или «чужие пространства» науки, в которых никто не оказался в нужном положении, чтобы их осознать. Таким образом, и ИИ, и люди сталкиваются с общей проблемой выхода из интеллектуального консенсуса.
Охота за идеями вне карты
Исследователи разработали систему для изучения «alien space» науки — научно обоснованных идей, которые исследователи вряд ли смогут придумать. Речь идет не о невозможных концепциях, а скорее о комбинациях существующих знаний, которые выходят за рамки типичных когнитивных паттернов или социальных сетей. Представьте это как картографирование неизведанных, но проходимых территорий в научном ландшафте.
Команда начала с деконструкции около 16 000 статей по машинному обучению на фундаментальные «атомы идей». Эти модульные концептуальные единицы позволили им представить каждое направление исследований как набор базовых компонентов, что дало возможность систематической рекомбинации в новые идеи-кандидаты.
Затем они применили двухэтапный механизм оценки. Coherence model, трансформер с 43 миллионами параметров, оценивала, формирует ли предложенная комбинация атомов идей логически обоснованный исследовательский проект. Одновременно с этим cognitive availability model, обученная на истории публикаций почти 40 000 исследователей, оценивала вероятность того, что какая-либо реальная исследовательская группа спонтанно свяжет эти конкретные концепции. Система отдает приоритет идеям, которые имеют высокий балл по когерентности, но низкий по доступности для человека, продвигая открытия за пределы установленных интеллектуальных границ.
Поразительный тест — и проверка реальностью
Исследователи тщательно протестировали свою систему, заморозив ее обучающие данные в конце 2024 года. Затем они оценили ее способность выявлять комбинации концепций, которые материализовались в реальных научных статьях, опубликованных в 2025 году. Эта retrospective validation была направлена на то, чтобы определить, может ли система действительно идентифицировать будущие направления.
Один поразительный результат связан с устной презентацией на ICLR 2025. Основная комбинация этой статьи, изначально занимавшая около 1489 места только на основе когерентности, поднялась в топ-25 из более чем 1,14 миллиона кандидатов, когда была применена метрика «недоступности» системы. Важно отметить, что это указывает на прогностическую способность ранжирования системы, а не на то, что она напрямую стала причиной исследования.
Более того, 50 специалистов по ИИ с учеными степенями вслепую оценивали исследовательские предложения. Идеи, сгенерированные системой, составили три из пяти отчетов с самым высоким рейтингом. Это резко контрастирует с результатами Claude, где восемь из десяти самостоятельно сгенерированных идей склонялись к интерпретируемости; новая система подготовила ноль предложений, сфокусированных на интерпретируемости, что демонстрирует ее способность исследовать по-настоящему новое концептуальное пространство. Для получения более глубоких технических сведений ознакомьтесь с полной статьей: The Alien Space of Science: Sampling Coherent but Cognitively Unavailable Research Directions.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Узким местом по-прежнему остаются доказательства
Подход критически зависит от доступа к данным. Исследователи создали свою систему на основе 16 068 полнотекстовых статей по машинному обучению — области, где открытый доступ является общепринятым. Это позволило моделям изучить надежные «атомы идей» и их вероятные комбинации.
Напротив, такие области, как биология и медицина, представляют собой проблему. Примерно половина медицинских исследований остается за пейволлами (платным доступом), что серьезно ограничивает способность системы усваивать необходимые полнотекстовые статьи. Как следствие, идеи, генерируемые в этих областях, заметно слабее из-за недостаточного количества обучающих данных.
Генерация правдоподобных комбинаций отличается от научной проверки. Система определяет потенциальные пути, но эксперты-люди все равно должны:
- Оценивать предложения на предмет истинной новизны и осуществимости
- Обеспечивать финансирование и ресурсы
- Разрабатывать и проводить эксперименты
Убедительная идея — это не доказанное открытие; это лишь гипотеза, ожидающая тщательной проверки.
Читатели могут изучить инструмент Lacuna, в котором размещено 25 000 исследовательских предложений, или углубиться в сам проект с открытым исходным кодом. Более широкое внедрение этой методологии в критически важных областях, таких как медицина, зависит от расширения доступа к полнотекстовым исследованиям и активного участия профильных экспертов для всестороннего анализа и проведения экспериментальных работ.
Часто задаваемые вопросы
Что такое Alien Space of Science?
Это концепция поиска направлений исследований, которые выглядят научно обоснованными, но вряд ли придут в голову исследователям, учитывая их устоявшиеся привычки и связи.
Как система генерирует исследовательские идеи?
Она объединяет исследовательские концепции, называемые атомами идей, а затем оценивает комбинации-кандидаты на предмет согласованности и вероятности того, что исследователи могли бы до них додуматься.
Идентифицировала ли система реальные исследования до их публикации?
В ретроспективном тесте с использованием данных, замороженных до 2025 года, она поместила комбинацию, появившуюся в устном докладе на ICLR 2025, в число своих 25 лучших кандидатов.
Может ли система самостоятельно совершать и проверять открытия?
Нет. Она предлагает гипотезы, но эксперты-люди должны оценивать их и проводить эксперименты, чтобы установить, являются ли они полезными или верными.
Что такое Lacuna?
Lacuna — это инструмент, связанный с проектом, который позволяет пользователям просматривать исследовательские предложения; код проекта также доступен на GitHub.