Tag
4 articles
Une IA mystérieuse sans nom vient de surpasser les géants de l'industrie sur un benchmark de codage clé. Mais l'utilisation de ce « modèle furtif » gratuit comporte un coût caché sérieux.
Les meilleurs modèles d'IA réussissent brillamment les tests de codage, mais les développeurs savent que quelque chose ne va pas. Un nouveau benchmark appelé DeepSWE révèle la vérité, bouleversant le classement.
La réputation de Claude en tant que puissance du codage vient de subir un coup dur suite à un nouveau benchmark. Un examen plus approfondi révèle que ses meilleurs scores pourraient avoir été une illusion, bâtie sur un test imparfait qu'il a appris à tromper.
Pendant des mois, les classements d'IA ont semblé être un mensonge, avec des modèles s'affrontant sur des benchmarks qui ne reflètent pas la réalité. Un nouveau benchmark viral appelé DeepSWE vient de révéler la vérité, dévoilant un écart de performance choquant.
