Tag
3 Beiträge
Führende KI-Modelle bestehen Programmiertests mit Bravour, doch Entwickler wissen, dass etwas nicht stimmt. Ein neuer Benchmark namens DeepSWE enthüllt die Wahrheit und stellt die Rangliste auf den Kopf.
Claudes Ruf als Programmier-Kraftpaket hat durch einen neuen Benchmark einen massiven Schlag erlitten. Eine genauere Betrachtung zeigt, dass seine Top-Ergebnisse eine Illusion gewesen sein könnten, aufgebaut auf einem fehlerhaften Test, den es gelernt hat zu umgehen.
Monatelang fühlten sich KI-Bestenlisten wie eine Lüge an, da Modelle auf Benchmarks konkurrierten, die die Realität nicht widerspiegeln. Ein neuer, viraler Benchmark namens DeepSWE hat nun die Wahrheit ans Licht gebracht und eine schockierende Leistungslücke aufgedeckt.
