ИИ нашёл ошибки экспертов в физике

Пятьдесят неопубликованных задач по теоретической физике составили бенчмарк TheoPhysEval, предназначенный для оценки рассуждений исследовательского уровня, а не запоминания. Исследователи из Harvard University of Texas University of Texas, the University of Texas of Texas, Google DeepMind и других организаций составили эти задачи, обеспечив их новизну и невозможность встречи с ними при обучении ИИ. Каждая задача была достаточно сложной, чтобы занять ведущего мирового эксперта примерно на один день.

Первоначально Astra, работая в среде Codex от OpenAI с такими инструментами, как выполнение кода и поиск по литературе, набрала около 80 с лишним баллов по сравнению с предоставленными решениями. Этот результат впечатлял, но последующая проверка принесла неожиданный поворот.

При повторной проверке спорных ответов вместе с авторами задач исследователи обнаружили тонкие ошибки в исходных эталонных решениях, составленных людьми. После этих исправлений результат Astra существенно изменился и составил 49 из 50, то есть 98% точности. Этот результат подчёркивает способность Astra выявлять человеческие ошибки в сложной теоретической физике, однако исследователи отмечают, что он относится только к данной оценке и не является утверждением о непогрешимости.

Ошибочные эталонные ответы могут искажать оценки, помечая верные решения как неверные и нарушая сравнение всех протестированных моделей. Это наглядно проявилось в TheoPhysEval, где первоначальные оценки результата GPT-6 Astra вводили в заблуждение. По сообщениям, ИИ «ошибался» в нескольких задачах, но при более внимательной проверке выяснилось, что решения, написанные людьми, содержали тонкие ошибки.

После того как исследователи из таких организаций, как Harvard University of Texas University of Texas и the University of Texas of Texas, исправили собственные ответы, результат GPT-6 Astra вырос с 80 с лишним баллов до поразительных 98% (49 из 50). Это не был единичный случай: похожие проблемы возникли и с бенчмарком FrontierMath — набором одних из самых сложных математических задач в мире.

Проверка FrontierMath с помощью ИИ выявила «фатальные ошибки» примерно в одной трети задач, причём большинство замечаний, как считается, обоснованны. Это означает, что в тщательно разработанном математическом тесте ИИ нашёл серьёзные проблемы примерно в одном вопросе из трёх, из-за чего официальным ответам нельзя доверять.

Эти случаи подчёркивают критическую уязвимость оценки ИИ: бенчмарки создаются людьми. Их результаты требуют строгих аудитов, независимых проверок и прозрачной истории исправлений. Безоговорочное доверие к авторитету экспертов может привести к недооценке возможностей ИИ, поскольку модели, дающие верные ответы при ошибочных эталонах, несправедливо штрафуются. Этот сдвиг парадигмы означает, что ИИ больше не просто проходит наши тесты — теперь он их проверяет.

Помимо тестов-бенчмарков, ИИ начал проверять и опубликованные математические исследования. Исследователи под руководством Jasper Dekoninck и Martin Vechev использовали GPT-6.1 Sol от OpenAI для проверки почти 800 математических статей, опубликованных в интернете. Эта систематическая проверка была направлена на выявление ошибок в ключевых доказательствах и утверждениях.

Проверка с помощью ИИ выявила серьёзные ошибки примерно в 6% статей, а незначительные проблемы — примерно в 30%. Хотя эти оценки сопровождаются оговорками — касающимися размера выборки и конкретного процесса валидации, — они показывают потенциал автоматической верификации. Исследователи по-прежнему подчёркивают, что все отмеченные ИИ случаи должны проверять эксперты-люди. Подробнее о возможностях ИИ в этой области см. TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving.

Этот переход от оценки к активной помощи в исследованиях демонстрирует серьёзные возможности. По словам учёных, ИИ может быстро решать конкретные, чётко сформулированные задачи, ускоряя открытия. Однако результаты требуют тщательной экспертной проверки: ИИ самостоятельно не формулирует новые научные вопросы и не выбирает направления исследований, оставаясь мощным, но узкоспециализированным инструментом.

Насыщение бенчмарков ставит новую задачу: что происходит, когда ИИ оспаривает эталонное решение? Если модель, такая как GPT-6-Astra, указывает на ошибку, оценивающим необходимо определить, ошибается модель или решение, предоставленное людьми. Это переворачивает традиционную парадигму оценки и требует проверки самого бенчмарка.

В дальнейшем новые бенчмарки должны отдавать приоритет проверяемости. Это включает разработку тестов, для которых можно получить машинно проверяемые доказательства, требование воспроизводимого кода или вычислений от моделей и привлечение нескольких независимых рецензентов-людей. Такие меры позволяют строго подтвердить правильность результата, когда ИИ получает 98% в сложном тесте, таком как TheoPhysEval.

Последствия для научной работы значительны. Рутинные выводы формул, алгебраические преобразования и проверка доказательств — задачи, которые часто отнимают у исследователей много времени, — могут стать быстрее и дешевле, а ИИ будет выступать в роли старательного соавтора. Это позволит исследователям сосредоточиться на постановке новых вопросов, интерпретации сложных результатов и проверке доказательств, коренным образом изменив разделение труда в научных открытиях.

Что такое TheoPhysEval?

TheoPhysEval — это бенчмарк из 50 неопубликованных задач по теоретической физике исследовательского уровня, предназначенный для проверки способности ИИ-агентов решать научные задачи.

Как Astra набрала 49 баллов из 50?

Заявленный результат вырос до 49 после того, как эксперты проверили отмеченные ответы и исправили ошибки в некоторых исходных решениях бенчмарка.

Доказывает ли это, что ИИ лучше физиков?

Нет. Результат показывает, что ИИ-агент, использующий инструменты, решил эти задачи и выявил ряд ошибок в эталонных ответах; он не доказывает общего превосходства над физиками.

Почему бенчмаркам ИИ становится сложнее доверять?

Модели могут выявлять ошибки в вопросах или решениях, написанных людьми, поэтому результаты бенчмарков нуждаются в независимой проверке, а не в опоре на единственный эталон ответов.