Le test qui a inversé les rôles
Cinquante problèmes de physique théorique inédits ont constitué le benchmark TheoPhysEval, conçu pour évaluer un raisonnement de niveau recherche plutôt que la simple mémorisation. Des chercheurs de Harvard University of Texas University of Texas, de the University of Texas of Texas, de Google DeepMind et d'autres institutions ont élaboré ces problèmes, en veillant à ce qu'ils soient nouveaux et n'aient pas pu être rencontrés lors de l'entraînement des IA. Chaque problème était suffisamment complexe pour mettre au défi un expert de premier plan mondial pendant environ une journée.
Au départ, Astra, fonctionnant dans l'environnement Codex d'OpenAI avec des outils tels que l'exécution de code et la recherche bibliographique, a obtenu un score de l'ordre de la fin des 80 par rapport aux solutions fournies. Cette performance était impressionnante, mais un examen plus approfondi a révélé un retournement surprenant.
En revérifiant les réponses contestées avec les auteurs des problèmes, les chercheurs ont découvert des erreurs subtiles dans les solutions de référence rédigées à l'origine par des humains. Après ces corrections, le score d'Astra a été fortement révisé à 49 sur 50, soit 98 % de précision. Ce résultat met en évidence la capacité d'Astra à repérer des erreurs humaines en physique théorique complexe, mais les chercheurs soulignent qu'il est propre à cette évaluation et ne constitue pas une affirmation universelle d'infaillibilité.
Quand le corrigé est le maillon faible
Des corrigés erronés peuvent fausser les évaluations, en marquant comme incorrectes des solutions valides et en déformant les comparaisons entre tous les modèles testés. Ce problème est apparu clairement avec TheoPhysEval, où les premières évaluations de la performance de GPT-6 Astra étaient trompeuses. L'IA aurait été « dans l'erreur » sur plusieurs problèmes, mais après un examen plus attentif, les solutions rédigées par des humains contenaient des erreurs subtiles.
Après que des chercheurs d'institutions telles que Harvard University of Texas University of Texas et the University of Texas of Texas ont corrigé leurs propres réponses, le score de GPT-6 Astra est passé de la fin des 80 à un impressionnant 98 % (49 sur 50). Il ne s'agissait pas d'un cas isolé : des problèmes similaires sont apparus avec le benchmark FrontierMath, un ensemble de certains des problèmes de mathématiques les plus difficiles au monde.
Une revue de FrontierMath assistée par IA a signalé des « erreurs fatales » dans environ un tiers de ses problèmes, la plupart des signalements étant considérés comme valides. Cela signifie que, dans un test de mathématiques méticuleusement conçu, l'IA a trouvé de graves problèmes dans environ une question sur trois, rendant les réponses officielles peu fiables.
Ces cas soulignent une vulnérabilité critique de l'évaluation de l'IA : les benchmarks sont des constructions humaines. Leurs scores exigent des audits rigoureux, des vérifications indépendantes et un historique de corrections transparent. Une confiance sans réserve envers l'autorité des experts peut conduire à sous-estimer les capacités de l'IA, car les modèles qui fournissent des réponses correctes face à des corrigés erronés sont injustement pénalisés. Ce changement de paradigme signifie que l'IA ne se contente plus de passer nos tests : elle les corrige désormais.
Du passage de tests à l'assistance à la recherche
Au-delà des tests de benchmark, l'IA a commencé à examiner de près des travaux de recherche mathématique publiés. Des chercheurs dirigés par Jasper Dekoninck et Martin Vechev ont déployé GPT-6.1 Sol d'OpenAI pour passer en revue près de 800 articles de mathématiques en ligne. Cette vérification systématique visait à identifier des erreurs dans les preuves et les affirmations centrales.
La revue assistée par IA a signalé des erreurs majeures dans environ 6 % des articles, et des problèmes mineurs dans environ 30 % d'entre eux. Ces estimations comportent des réserves, notamment sur la taille de l'échantillon et sur le processus de validation spécifique, mais elles soulignent le potentiel de la vérification automatisée. Les chercheurs insistent toutefois sur le fait que des experts humains doivent valider tous les points signalés par l'IA. Pour en savoir plus sur les capacités de l'IA dans ce domaine, consultez TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving.
Ce passage de l'évaluation à une assistance active à la recherche démontre une capacité considérable. Les scientifiques indiquent que l'IA peut résoudre rapidement des problèmes précis et bien définis, ce qui accélère les découvertes. Toutefois, les résultats exigent un examen rigoureux par des experts ; l'IA ne formule pas de manière autonome de nouvelles questions scientifiques et ne choisit pas les orientations de recherche : elle reste un outil puissant mais spécialisé.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
La nouvelle frontière : prouver la preuve
La saturation des benchmarks pose un nouveau défi : que se passe-t-il lorsqu'une IA conteste la solution de référence ? Si un modèle comme GPT-6-Astra signale une erreur, les évaluateurs doivent déterminer si c'est le modèle ou la solution fournie par des humains qui est incorrecte. Cela renverse le paradigme d'évaluation traditionnel et exige la vérification du benchmark lui-même.
À l'avenir, les nouveaux benchmarks devront donner la priorité à la vérifiabilité. Cela implique de concevoir des tests pour lesquels des preuves vérifiables par machine peuvent être générées, d'exiger des modèles du code ou des calculs reproductibles, et de faire intervenir plusieurs relecteurs humains indépendants. De telles mesures permettent, lorsqu'une IA obtient un score de 98 % à un test difficile comme TheoPhysEval, de confirmer rigoureusement l'exactitude de ce score.
Les implications pour le travail scientifique sont importantes. Les dérivations de routine, les manipulations algébriques et la vérification de preuves, des tâches qui occupent souvent une part substantielle du temps des chercheurs, pourraient devenir plus rapides et moins coûteuses, les IA jouant le rôle de co-auteurs rigoureux. Ce changement permettrait aux chercheurs de se concentrer sur la formulation de nouvelles questions, l'interprétation de résultats complexes et la validation des preuves, modifiant fondamentalement la répartition du travail dans la découverte scientifique.
Questions fréquentes
Qu'est-ce que TheoPhysEval ?
TheoPhysEval est un benchmark de 50 problèmes de physique théorique inédits, de niveau recherche, conçu pour tester la capacité des agents d'IA à résoudre des problèmes scientifiques.
Comment Astra a-t-il obtenu 49 sur 50 ?
Le score rapporté est passé à 49 après que des experts ont examiné les réponses signalées et corrigé des erreurs dans certaines des solutions d'origine du benchmark.
Cela prouve-t-il que l'IA est meilleure que les physiciens ?
Non. Cela montre qu'un agent d'IA utilisant des outils a résolu ces tâches et identifié certaines erreurs dans le corrigé ; cela n'établit pas une supériorité générale sur les physiciens.
Pourquoi est-il de plus en plus difficile de se fier aux benchmarks d'IA ?
Les modèles peuvent mettre en évidence des erreurs dans des questions ou des solutions rédigées par des humains ; les résultats des benchmarks nécessitent donc une vérification indépendante plutôt que de s'appuyer sur un seul corrigé.