A pista do gato e do carro que mudou a história
Por anos, o neurônio 4E:55 no modelo de imagem InceptionV1 do Google serviu como um exemplo principal de superposição, ativando-se tanto para rostos de gatos quanto para a frente de carros. Essa observação de 2020, destacada no artigo Zoom In: An Introduction to Circuits: An Introduction to Circuits da Distill, parecia confirmar que as redes neurais acumulavam conceitos não relacionados em neurônios individuais, tornando a interpretabilidade direta impossível.
No entanto, Nick Cammarata, coautor de Zoom In: An Introduction to Circuits: An Introduction to Circuits, agora oferece uma leitura revisada. Ele argumenta que o neurônio 4E:55 não é polisemântico, mas um detector de forma em V. Ele é ativado por características pontiagudas como focinhos de raposa, chamas em formato de V e jatos de água de barcos de bombeiros, enquanto formas arredondadas levam sua ativação para o negativo. A conexão aparente entre rostos de gatos e frentes de carros decorria de uma característica geométrica compartilhada, não de uma sobreposição conceitual.
Essa reinterpretação desafia uma suposição fundamental na interpretabilidade de IA. Se os pesquisadores identificam erroneamente características visuais compartilhadas como conceitos não relacionados, eles correm o risco de superestimar a opacidade da rede. Essa reavaliação específica do neurônio 4E:55 sugere que alguns neurônios anteriormente considerados incompreensíveis podem, na verdade, ser monosemânticos, detectando uma característica única e consistente.
Esta é uma reinterpretação de um único exemplo, embora famoso, não uma prova universal de que todos os neurônios são imediatamente legíveis. Mas isso aumenta as apostas para a interpretabilidade direta, sugerindo que o "Mito do Neurônio de IA" de opacidade inerente pode estar ruindo.
A superposição não é a única explicação
A superposição, a teoria predominante por anos, postula que modelos com capacidade representacional limitada codificam múltiplas características em direções sobrepostas. Isso torna os componentes neuronais individuais difíceis de interpretar diretamente, assim como tentar discernir vozes individuais em uma sala lotada onde todos falam simultaneamente. Essa perspectiva impulsionou o desenvolvimento de sparse autoencoders (SAEs), modelos projetados para desembaraçar essas ativações densas e sobrepostas e recuperar características discretas mais compreensíveis.
No entanto, uma explicação alternativa para o comportamento dos neurônios, a generalização recursiva, desafia a premissa central da superposição. Nick Cammarata, coautor do artigo Zoom In: An Introduction to Circuits: An Introduction to Circuits da Distill de 2020, sugere agora que um neurônio não agrupa aleatoriamente conceitos não relacionados. Em vez disso, ele amplia sua função de um padrão simples para usos relacionados ao longo do treinamento, semelhante a um galho de árvore que cresce galhos menores e relacionados.
Cammarata ilustra isso com um neurônio de modelo de linguagem que inicialmente detectava "IY". Com o tempo, esse neurônio generalizou para "DIY" e, eventualmente, para a frase completa "do it yourself", mesmo quando "IY" não estava explicitamente presente. Embora esse relato seja ilustrativo e não uma hipótese formal, ele sugere que os neurônios se desenvolvem ao longo de um gradiente semântico, expandindo suas responsabilidades de uma maneira logicamente conectada, em vez de agrupar ideias díspares devido a restrições de capacidade. Essa interpretação implica uma rede muito mais estruturada e inerentemente interpretável do que se supunha anteriormente.
Os novos números são impressionantes — e preliminares
Novos dados oferecem um contraste marcante com resultados anteriores de interpretabilidade. Trabalhos históricos, incluindo o artigo da Anthropic de 2023 "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning", frequentemente encontravam taxas muito baixas de neurônios de modelos de linguagem facilmente interpretáveis, com pontuações medianas de 0 em 14 para interpretabilidade. O projeto de "interpretabilidade automatizada" da OpenAI no mesmo ano identificou, de forma semelhante, apenas cerca de 1,7% dos neurônios como interpretáveis.
As auditorias preliminares da Goodfire, no entanto, relatam números drasticamente diferentes para o Qwen 3 32B. Aproximadamente 90% dos polos de neurônios teriam uma única função primária, enquanto cerca de 7% lidam com duas tarefas intimamente relacionadas. Apenas 2–4% dos neurônios permanecem não classificados.
Para modelos de imagem, a Goodfire relata que aproximadamente 99% dos neurônios na última camada de um modelo moderno, treinado no mesmo tamanho com dados idênticos, eram interpretáveis. Isso revisa significativamente as estimativas anteriores, que sugeriam que quase nenhum neurônio na última camada do InceptionV1 era diretamente legível. Esses números referem-se especificamente à última camada e não se generalizam para todas as camadas ou arquiteturas.
Esses números impressionantes originam-se de um ensaio informal e auditorias da empresa, não de um artigo técnico revisado por pares. Embora promissores, seu impacto nas conclusões do campo depende de métodos de avaliação rigorosos, cobertura abrangente de modelos e replicação independente. Para mais detalhes, veja o ensaio Neural Networks Are Already Clean - Goodfire.
Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.
um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros
Se a afirmação se sustentar, a interpretabilidade torna-se prática
Se as descobertas preliminares da Goodfire se confirmarem, a mudança para a pesquisa de interpretabilidade pode ser profunda. Em vez de treinar principalmente um segundo modelo, como um sparse autoencoder, para reconstruir características, os pesquisadores poderiam inspecionar e rastrear diretamente neurônios nativos em alguns casos. Isso simplificaria o processo, reduzindo a dependência de métodos indiretos.
Essa promessa estende-se diretamente à segurança e engenharia de IA. Circuitos neurais mais claros poderiam tornar o comportamento do modelo significativamente mais fácil de auditar, depurar ou até mesmo direcionar. No entanto, neurônios legíveis por si só não garantem controle ou alinhamento confiáveis; a complexidade das interações em nível de sistema permanece um desafio substancial.
A comunidade científica aguarda testes rigorosos. Mesmo céticos como Neel Nanda alertam que explicações intuitivas para ativações fortes não eliminam a superposição, especialmente para ativações fracas e representações de conhecimento densas. O próximo passo crítico envolve replicação rigorosa em uma gama diversificada de modelos e camadas para validar a hipótese de que as redes "já estão limpas".
Perguntas Frequentes
O que significa dizer que as redes neurais já estão limpas?
A afirmação de Nick Cammarata é que muitos neurônios individuais podem ter funções compreensíveis sem a necessidade de primeiro desembaraçá-los com um modelo separado.
O que o neurônio de gato-e-carro estava detectando?
Cammarata diz que o neurônio do Inception respondia a uma geometria compartilhada em forma de V em rostos de gatos, frentes de carros e outras formas pontiagudas.
Isso refuta a superposição?
Não. O ensaio argumenta que alguma polissemanticidade aparente pode ser mal interpretada, mas a afirmação precisa de testes mais amplos e não descarta a superposição.
Os sparse autoencoders não são mais úteis?
Não está estabelecido. Eles continuam sendo uma ferramenta importante de interpretabilidade; o ensaio levanta a possibilidade de que a análise direta de neurônios possa, às vezes, ser suficiente.