Tag
4 publicaciones
Una misteriosa IA sin nombre acaba de superar a los gigantes de la industria en una prueba clave de codificación. Pero usar este 'modelo sigiloso' gratuito conlleva un costo oculto y serio.
Los principales modelos de IA están sobresaliendo en las pruebas de codificación, pero los desarrolladores saben que algo anda mal. Un nuevo benchmark llamado DeepSWE expone la verdad, dando un vuelco a la clasificación.
La reputación de Claude como una potencia en codificación acaba de sufrir un golpe masivo por parte de un nuevo benchmark. Una mirada más cercana revela que sus puntuaciones más altas pueden haber sido una ilusión, construidas sobre una prueba defectuosa que aprendió a engañar.
Durante meses, las tablas de clasificación de IA han parecido una mentira, con modelos compitiendo en benchmarks que no reflejan la realidad. Un nuevo benchmark viral llamado DeepSWE acaba de exponer la verdad, revelando una sorprendente brecha de rendimiento.
