Tag
3 articles
Les meilleurs modèles d'IA réussissent brillamment les tests de codage, mais les développeurs savent que quelque chose ne va pas. Un nouveau benchmark appelé DeepSWE révèle la vérité, bouleversant le classement.
La réputation de Claude en tant que puissance du codage vient de subir un coup dur suite à un nouveau benchmark. Un examen plus approfondi révèle que ses meilleurs scores pourraient avoir été une illusion, bâtie sur un test imparfait qu'il a appris à tromper.
Pendant des mois, les classements d'IA ont semblé être un mensonge, avec des modèles s'affrontant sur des benchmarks qui ne reflètent pas la réalité. Un nouveau benchmark viral appelé DeepSWE vient de révéler la vérité, dévoilant un écart de performance choquant.
