Der Test, der die Rollen vertauschte
Fünfzig unveröffentlichte Probleme der theoretischen Physik bildeten den Benchmark TheoPhysEval, der Denkvermögen auf Forschungsniveau statt reines Abrufwissen bewerten soll. Forscher von Harvard University of Texas University of Texas, der University of Texas of Texas, Google DeepMind und weiteren Institutionen entwarfen diese Probleme und stellten sicher, dass sie neuartig waren und beim KI-Training nicht vorgekommen sein konnten. Jedes Problem war komplex genug, um einen weltweit führenden Experten etwa einen Tag lang zu fordern.
Zunächst erzielte Astra, das in der Codex-Umgebung von OpenAI mit Werkzeugen wie Codeausführung und Literatursuche arbeitete, Werte im hohen 80er-Bereich im Vergleich zu den vorgegebenen Lösungen. Diese Leistung war beeindruckend, doch eine anschließende genauere Prüfung brachte eine überraschende Wendung.
Beim erneuten Prüfen der strittigen Antworten gemeinsam mit den Autoren der Aufgaben entdeckten die Forscher subtile Fehler in den ursprünglichen, von Menschen erstellten Referenzlösungen. Nach diesen Korrekturen wurde Astras Wert deutlich auf 49 von 50 bzw. 98 % Genauigkeit angehoben. Dieses konkrete Ergebnis zeigt Astras Fähigkeit, menschliche Fehler in komplexer theoretischer Physik zu erkennen, doch die Forscher betonen, dass es sich auf diese Evaluierung beschränkt und keine allgemeine Behauptung von Unfehlbarkeit darstellt.
Wenn der Lösungsschlüssel das schwache Glied ist
Fehlerhafte Lösungsschlüssel können Bewertungen verzerren, indem sie gültige Lösungen als falsch markieren und die Vergleiche über alle getesteten Modelle hinweg verfälschen. Dieses Problem trat bei TheoPhysEval deutlich zutage, wo die ersten Einschätzungen der Leistung von GPT-6 Astra irreführend waren. Die KI lag Berichten zufolge bei mehreren Problemen „falsch“, doch bei genauerer Prüfung enthielten die von Menschen verfassten Lösungen subtile Fehler.
Nachdem Forscher von Institutionen wie Harvard University of Texas University of Texas und der University of Texas of Texas ihre eigenen Antworten korrigiert hatten, stieg der Wert von GPT-6 Astra von den späten 80ern auf erstaunliche 98 % (49 von 50). Das war kein Einzelfall; ähnliche Probleme traten beim Benchmark FrontierMath auf, einer Sammlung einiger der schwierigsten Matheaufgaben der Welt.
Eine KI-gestützte Überprüfung von FrontierMath markierte „fatale Fehler“ in etwa einem Drittel der Aufgaben, wobei die meisten Markierungen als berechtigt gelten. Das bedeutet, dass die KI bei einem sorgfältig gestalteten Mathetest in etwa jeder dritten Frage gravierende Probleme fand, sodass die offiziellen Antworten nicht verlässlich waren.
Diese Fälle verdeutlichen eine kritische Schwachstelle der KI-Evaluierung: Benchmarks sind von Menschen geschaffen. Ihre Ergebnisse erfordern strenge Audits, unabhängige Prüfungen und transparente Korrekturverläufe. Unbedingtes Vertrauen in die Autorität von Experten kann dazu führen, dass die Fähigkeiten von KI unterschätzt werden, da Modelle, die gegenüber fehlerhaften Schlüsseln richtig antworten, zu Unrecht abgewertet werden. Dieser Paradigmenwechsel bedeutet: KI absolviert unsere Tests nicht mehr nur, sie bewertet sie jetzt auch.
Vom Testteilnehmer zum Forschungsassistenten
Über Benchmark-Tests hinaus hat die KI begonnen, veröffentlichte mathematische Forschung zu prüfen. Ein Forscherteam um Jasper Dekoninck und Martin Vechev setzte GPT-6.1 Sol von OpenAI ein, um knapp 800 mathematische Arbeiten aus dem Internet zu überprüfen. Diese systematische Kontrolle sollte Fehler in zentralen Beweisen und Aussagen identifizieren.
Die KI-gestützte Prüfung markierte schwerwiegende Fehler in etwa 6 % der Arbeiten, geringfügige Mängel zeigten sich in rund 30 %. Diese Schätzungen sind mit Vorbehalten verbunden – etwa hinsichtlich der Stichprobengröße und des konkreten Validierungsverfahrens –, zeigen aber das Potenzial automatisierter Verifikation. Die Forscher betonen weiterhin, dass menschliche Experten alle von der KI identifizierten Markierungen validieren müssen. Weitere Informationen zu den Fähigkeiten von KI in diesem Bereich finden Sie unter TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving.
Dieser Wandel von der Bewertung hin zur aktiven Forschungsunterstützung zeigt eine tiefgreifende Fähigkeit. Wissenschaftler berichten, dass KI bestimmte, klar definierte Probleme schnell lösen und so Entdeckungen beschleunigen kann. Die Ergebnisse erfordern jedoch eine gründliche Prüfung durch Experten; die KI formuliert nicht eigenständig neue wissenschaftliche Fragen und wählt keine Forschungsrichtungen, sondern bleibt ein leistungsfähiges, aber spezialisiertes Werkzeug.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Die neue Grenze: den Beweis beweisen
Die Sättigung von Benchmarks wirft eine neue Frage auf: Was geschieht, wenn eine KI die Referenzlösung bestreitet? Wenn ein Modell wie GPT-6-Astra einen Fehler markiert, müssen die Prüfer klären, ob das Modell oder die von Menschen erstellte Lösung falsch ist. Das kehrt das traditionelle Bewertungsparadigma um und erfordert die Verifikation des Benchmarks selbst.
Künftig müssen neue Benchmarks der Überprüfbarkeit Vorrang einräumen. Dazu gehört, Tests so zu gestalten, dass maschinell überprüfbare Beweise erzeugt werden können, reproduzierbaren Code oder Berechnungen von den Modellen zu verlangen und mehrere unabhängige menschliche Gutachter einzubeziehen. Solche Maßnahmen stellen sicher, dass die Richtigkeit eines Ergebnisses streng bestätigt werden kann, wenn eine KI bei einem anspruchsvollen Test wie TheoPhysEval 98 % erreicht.
Die Folgen für die wissenschaftliche Arbeit sind erheblich. Routineableitungen, algebraische Umformungen und die Überprüfung von Beweisen – Aufgaben, die oft viel Zeit von Forschenden beanspruchen – könnten schneller und günstiger werden, wobei KIs als sorgfältige Mitautoren fungieren. Dieser Wandel würde es menschlichen Forschern erlauben, sich darauf zu konzentrieren, neue Fragen zu formulieren, komplexe Ergebnisse zu interpretieren und Belege zu validieren, und würde die Arbeitsteilung in der wissenschaftlichen Entdeckung grundlegend verändern.
Häufig gestellte Fragen
Was ist TheoPhysEval?
TheoPhysEval ist ein Benchmark aus 50 unveröffentlichten theoretischen Physikproblemen auf Forschungsniveau, der die wissenschaftliche Problemlösungsfähigkeit von KI-Agenten testen soll.
Wie kam Astra auf 49 von 50 Punkten?
Der gemeldete Wert stieg auf 49, nachdem Experten markierte Antworten überprüft und Fehler in einigen der ursprünglichen Lösungen des Benchmarks korrigiert hatten.
Beweist das, dass KI besser ist als Physiker?
Nein. Es zeigt, dass ein KI-Agent mit Werkzeugnutzung diese Aufgaben gelöst und einige Fehler im Lösungsschlüssel identifiziert hat; eine generelle Überlegenheit gegenüber Physikern belegt es nicht.
Warum wird es schwieriger, KI-Benchmarks zu vertrauen?
Modelle können Fehler in von Menschen verfassten Fragen oder Lösungen aufdecken. Benchmark-Ergebnisse müssen daher unabhängig überprüft werden, statt sich auf einen einzigen Lösungsschlüssel zu verlassen.