La pista del gato y el coche que cambió la historia
Durante años, la neurona 4E:55 en el modelo de imagen InceptionV1 de Google fue un ejemplo principal de superposición, activándose tanto para caras de gatos como para partes delanteras de coches. Esta observación de 2020, destacada en el artículo de Distill Zoom In: An Introduction to Circuits: An Introduction to Circuits, parecía confirmar que las redes neuronales agrupaban conceptos no relacionados en neuronas individuales, haciendo imposible la interpretabilidad directa.
Sin embargo, Nick Cammarata, coautor de Zoom In: An Introduction to Circuits: An Introduction to Circuits, ofrece ahora una lectura revisada. Argumenta que la neurona 4E:55 no es polisémica, sino un detector de forma en V. Se activa para características puntiagudas como hocicos de zorro, llamas en forma de V y chorros de agua de barcos de bomberos, mientras que las formas redondas empujan su activación a valores negativos. La aparente conexión entre las caras de los gatos y los frontales de los coches provenía de una característica geométrica compartida, no de una superposición conceptual.
Esta reinterpretación desafía una suposición fundamental en la interpretabilidad de la IA. Si los investigadores identifican erróneamente características visuales compartidas como conceptos no relacionados, corren el riesgo de exagerar la opacidad de la red. Esta reevaluación específica de la neurona 4E:55 sugiere que algunas neuronas previamente consideradas incomprensibles pueden, de hecho, ser monosémicas, detectando una característica única y consistente.
Esta es una reinterpretación de un solo ejemplo, aunque famoso, no una prueba universal de que todas las neuronas sean inmediatamente legibles. Pero aumenta las apuestas para la interpretabilidad directa, sugiriendo que el "mito de la neurona de IA" de opacidad inherente podría estar resquebrajándose.
La superposición no es la única explicación
La superposición, la teoría predominante durante años, postula que los modelos con capacidad de representación limitada codifican múltiples características en direcciones superpuestas. Esto hace que los componentes neuronales individuales sean difíciles de interpretar directamente, de forma similar a tratar de distinguir voces individuales en una habitación llena de gente donde todos hablan simultáneamente. Esta perspectiva impulsó el desarrollo de sparse autoencoders (SAEs), modelos diseñados para desenredar estas activaciones densas y superpuestas y recuperar características discretas más comprensibles.
Sin embargo, una explicación alternativa para el comportamiento de las neuronas, la generalización recursiva, desafía la premisa central de la superposición. Nick Cammarata, coautor del artículo de Distill de 2020 Zoom In: An Introduction to Circuits: An Introduction to Circuits, sugiere ahora que una neurona no agrupa conceptos no relacionados al azar. En cambio, amplía su función de un patrón simple a usos relacionados durante el entrenamiento, similar a una rama de un árbol que desarrolla ramas más pequeñas y relacionadas.
Cammarata ilustra esto con una neurona de modelo de lenguaje que inicialmente detectaba "IY". Con el tiempo, esta neurona se generalizó a "DIY" y finalmente a la frase completa "do it yourself", incluso cuando "IY" no estaba presente explícitamente. Si bien este relato es ilustrativo y no una hipótesis formal, sugiere que las neuronas se desarrollan a lo largo de un gradiente semántico, expandiendo sus responsabilidades de una manera lógicamente conectada en lugar de agrupar ideas dispares debido a limitaciones de capacidad. Esta interpretación implica una red mucho más estructurada e inherentemente interpretable de lo que se suponía anteriormente.
Las nuevas cifras son sorprendentes, y preliminares
Los nuevos datos ofrecen un marcado contraste con los resultados de interpretabilidad previos. Los trabajos históricos, incluido el artículo de Anthropic de 2023 "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning", a menudo encontraron tasas muy bajas de neuronas de modelos de lenguaje fácilmente interpretables, con puntuaciones medianas de 0 de 14 en interpretabilidad. El proyecto de "interpretabilidad automatizada" de OpenAI de ese mismo año identificó de manera similar solo alrededor del 1.7% de las neuronas como interpretables.
Las auditorías preliminares de Goodfire, sin embargo, reportan cifras drásticamente diferentes para Qwen 3 32B. Aproximadamente el 90% de los polos neuronales tienen, según se informa, una función primaria única, mientras que alrededor del 7% manejan dos tareas estrechamente relacionadas. Solo el 2–4% de las neuronas permanecen sin clasificar.
Para los modelos de imagen, Goodfire informa que aproximadamente el 99% de las neuronas en la última capa de un modelo moderno, entrenado con el mismo tamaño y con datos idénticos, eran interpretables. Esto revisa significativamente las estimaciones anteriores, que sugerían que casi ninguna neurona en la última capa de InceptionV1 era directamente legible. Estas cifras se refieren específicamente a la última capa y no se generalizan a todas las capas o arquitecturas.
Estas cifras sorprendentes provienen de un ensayo informal y auditorías de la empresa, no de un artículo técnico revisado por pares. Aunque prometedor, su impacto en las conclusiones del campo depende de métodos de evaluación rigurosos, una cobertura integral de modelos y una replicación independiente. Para más detalles, consulte el ensayo Neural Networks Are Already Clean - Goodfire.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Si la afirmación se sostiene, la interpretabilidad se vuelve práctica
Si los hallazgos preliminares de Goodfire se mantienen, el cambio para la investigación de interpretabilidad podría ser profundo. En lugar de entrenar principalmente un segundo modelo, como un autoencoder disperso, para reconstruir características, los investigadores podrían inspeccionar y rastrear directamente las neuronas nativas en algunos casos. Esto simplificaría el proceso, reduciendo la dependencia de métodos indirectos.
Esta promesa se extiende directamente a la seguridad y la ingeniería de la IA. Circuitos neuronales más claros podrían hacer que el comportamiento del modelo sea significativamente más fácil de auditar, depurar o incluso dirigir. Sin embargo, las neuronas legibles por sí solas no garantizan un control o alineación fiables; la complejidad de las interacciones a nivel de sistema sigue siendo un desafío sustancial.
La comunidad científica espera pruebas rigurosas. Incluso escépticos como Neel Nanda advierten que las explicaciones intuitivas para activaciones fuertes no eliminan la superposición, especialmente para activaciones débiles y representaciones de conocimiento densas. El siguiente paso crítico implica una replicación rigurosa en una amplia gama de modelos y capas para validar la hipótesis de "ya limpio" (already clean).
Preguntas frecuentes
¿Qué significa decir que las redes neuronales ya están limpias?
La afirmación de Nick Cammarata es que muchas neuronas individuales pueden tener funciones comprensibles sin necesidad de desenredarlas primero con un modelo separado.
¿Qué estaba detectando la neurona de gato y coche?
Cammarata dice que la neurona de Inception respondió a una geometría en forma de V compartida en caras de gatos, frentes de coches y otras formas puntiagudas.
¿Esto refuta la superposición?
No. El ensayo argumenta que cierta polisemántica aparente puede ser malinterpretada, pero la afirmación necesita pruebas más amplias y no descarta la superposición.
¿Los autoencoders dispersos ya no son útiles?
No está establecido. Siguen siendo una herramienta importante de interpretabilidad; el ensayo plantea la posibilidad de que el análisis directo de neuronas a veces pueda ser suficiente.