Der Hinweis auf Katze und Auto, der die Geschichte veränderte
Jahrelang galt das Neuron 4E:55 im InceptionV1-Bildmodell von Google als Paradebeispiel für Superposition, da es sowohl auf Katzengesichter als auch auf die Fronten von Autos reagierte. Diese Beobachtung aus dem Jahr 2020, die im Distill-Artikel Zoom In: An Introduction to Circuits: An Introduction to Circuits hervorgehoben wurde, schien zu bestätigen, dass neuronale Netze unabhängige Konzepte in einzelne Neuronen quetschen, was eine direkte Interpretierbarkeit unmöglich macht.
Nick Cammarata, ein Co-Autor von Zoom In: An Introduction to Circuits: An Introduction to Circuits, bietet nun jedoch eine revidierte Lesart an. Er argumentiert, dass Neuron 4E:55 nicht polysemantisch ist, sondern ein V-Form-Detektor. Es aktiviert sich bei spitzen Merkmalen wie Fuchsschnauzen, V-förmigen Flammen und Löschwasserstrahlen, während runde Formen seine Aktivierung negativ beeinflussen. Die scheinbare Verbindung zwischen Katzengesichtern und Autofronten beruhte auf einem gemeinsamen geometrischen Merkmal, nicht auf einer konzeptionellen Überschneidung.
Diese Neuinterpretation stellt eine grundlegende Annahme der KI-Interpretierbarkeit in Frage. Wenn Forscher gemeinsame visuelle Merkmale fälschlicherweise als unabhängige Konzepte identifizieren, riskieren sie, die Undurchsichtigkeit des Netzwerks zu überbewerten. Diese spezifische Neubewertung von Neuron 4E:55 deutet darauf hin, dass einige Neuronen, die zuvor als unverständlich galten, tatsächlich monosemantisch sein könnten und ein einziges, konsistentes Merkmal erkennen.
Dies ist eine Neuinterpretation eines einzelnen, wenn auch berühmten Beispiels und kein universeller Beweis dafür, dass alle Neuronen sofort lesbar sind. Aber es erhöht den Einsatz für die direkte Interpretierbarkeit und legt nahe, dass der „Mythos der KI-Neuronen“ von inhärenter Undurchsichtigkeit zu bröckeln beginnt.
Superposition ist nicht die einzige Erklärung
Superposition, die seit Jahren vorherrschende Theorie, postuliert, dass Modelle mit begrenzter Repräsentationskapazität mehrere Merkmale in überlappenden Richtungen kodieren. Dies macht einzelne Neuronkomponenten schwer direkt interpretierbar, ähnlich wie der Versuch, einzelne Stimmen in einem überfüllten Raum zu unterscheiden, in dem alle gleichzeitig sprechen. Diese Perspektive förderte die Entwicklung von Sparse Autoencoders (SAEs), Modellen, die darauf ausgelegt sind, diese dichten, überlappenden Aktivierungen zu entwirren und verständlichere, diskrete Merkmale wiederherzustellen.
Eine alternative Erklärung für das Neuronverhalten, die rekursive Generalisierung, stellt jedoch die Kernprämisse der Superposition in Frage. Nick Cammarata, ein Co-Autor des Distill-Artikels Zoom In: An Introduction to Circuits: An Introduction to Circuits aus dem Jahr 2020, schlägt nun vor, dass ein Neuron nicht zufällig unabhängige Konzepte bündelt. Stattdessen erweitert es seine Funktion während des Trainings von einem einfachen Muster auf verwandte Anwendungen, ähnlich wie ein Baumzweig, der kleinere, verwandte Zweige bildet.
Cammarata veranschaulicht dies mit einem Neuron eines Sprachmodells, das ursprünglich „IY“ erkannte. Im Laufe der Zeit generalisierte dieses Neuron zu „DIY“ und schließlich zu der vollständigen Phrase „do it yourself“, selbst wenn „IY“ nicht explizit vorhanden war. Obwohl diese Darstellung illustrativ und keine formale Hypothese ist, legt sie nahe, dass sich Neuronen entlang eines semantischen Gradienten entwickeln und ihre Aufgaben auf logisch verbundene Weise erweitern, anstatt disparate Ideen aufgrund von Kapazitätsbeschränkungen zusammenzupacken. Diese Interpretation impliziert ein weitaus strukturierteres und von Natur aus interpretierbareres Netzwerk als bisher angenommen.
Die neuen Zahlen sind beeindruckend – und vorläufig
Neue Daten bilden einen starken Kontrast zu früheren Ergebnissen der Interpretierbarkeit. Historische Arbeiten, einschließlich des Anthropic-Papiers von 2023 "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning", fanden oft sehr niedrige Raten an leicht interpretierbaren Sprachmodell-Neuronen, mit Medianwerten von 0 von 14 für die Interpretierbarkeit. Das "Automated Interpretability"-Projekt von OpenAI im selben Jahr identifizierte ähnlich nur etwa 1,7 % der Neuronen als interpretierbar.
Die vorläufigen Audits von Goodfire berichten jedoch von dramatisch anderen Zahlen für Qwen 3 32B. Etwa 90 % der Neuron-Pole haben Berichten zufolge eine einzige primäre Funktion, während etwa 7 % zwei eng verwandte Aufgaben übernehmen. Nur 2–4 % der Neuronen bleiben unklassifiziert.
Für Bildmodelle berichtet Goodfire, dass etwa 99 % der Neuronen in der letzten Schicht eines modernen Modells, das bei gleicher Größe mit identischen Daten trainiert wurde, interpretierbar waren. Dies revidiert frühere Schätzungen erheblich, die nahelegten, dass fast keine Neuronen in der letzten Schicht von InceptionV1 direkt lesbar waren. Diese Zahlen beziehen sich spezifisch auf die letzte Schicht und lassen sich nicht auf alle Schichten oder Architekturen verallgemeinern.
Diese beeindruckenden Zahlen stammen aus einem informellen Essay und Unternehmens-Audits, nicht aus einem von Experten begutachteten technischen Papier. Obwohl vielversprechend, hängt ihr Einfluss auf die Schlussfolgerungen des Fachgebiets von rigorosen Bewertungsmethoden, einer umfassenden Modellabdeckung und einer unabhängigen Replikation ab. Weitere Details finden Sie im Essay Neural Networks Are Already Clean - Goodfire.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Wenn sich die Behauptung bewahrheitet, wird Interpretierbarkeit praktisch
Sollten sich die vorläufigen Ergebnisse von Goodfire bestätigen, könnte der Wandel für die Interpretierbarkeitsforschung tiefgreifend sein. Anstatt primär ein zweites Modell, wie einen Sparse Autoencoder, zur Rekonstruktion von Merkmalen zu trainieren, könnten Forscher in einigen Fällen direkt native Neuronen untersuchen und nachverfolgen. Dies würde den Prozess rationalisieren und die Abhängigkeit von indirekten Methoden verringern.
Dieses Versprechen erstreckt sich direkt auf die KI-Sicherheit und -Entwicklung. Klarere neuronale Schaltkreise könnten es erheblich erleichtern, das Modellverhalten zu prüfen, zu debuggen oder sogar zu steuern. Lesbare Neuronen allein garantieren jedoch keine zuverlässige Kontrolle oder Ausrichtung; die Komplexität der Interaktionen auf Systemebene bleibt eine erhebliche Herausforderung.
Die wissenschaftliche Gemeinschaft wartet auf rigorose Tests. Selbst Skeptiker wie Neel Nanda warnen, dass intuitive Erklärungen für starke Aktivierungen die Superposition nicht ausschließen, insbesondere bei schwachen Aktivierungen und dichten Wissensrepräsentationen. Der nächste kritische Schritt umfasst eine rigorose Replikation über eine Vielzahl von Modellen und Schichten hinweg, um die "already clean"-Hypothese zu validieren.
Häufig gestellte Fragen
Was bedeutet es, dass neuronale Netze bereits "sauber" (clean) sind?
Nick Cammaratas Behauptung ist, dass viele einzelne Neuronen verständliche Funktionen haben könnten, ohne dass sie erst mit einem separaten Modell entwirrt werden müssen.
Was hat das Katzen-und-Auto-Neuron erkannt?
Cammarata sagt, das Inception-Neuron reagierte auf eine gemeinsame V-förmige Geometrie in Katzengesichtern, Autofronten und anderen spitzen Formen.
Widerlegt dies die Superposition?
Nein. Der Essay argumentiert, dass eine scheinbare Polysemantizität falsch interpretiert werden könnte, aber die Behauptung bedarf einer breiteren Überprüfung und schließt die Superposition nicht aus.
Sind Sparse Autoencoders nicht mehr nützlich?
Nicht erwiesen. Sie bleiben ein wichtiges Werkzeug für die Interpretierbarkeit; der Essay wirft die Möglichkeit auf, dass eine direkte Neuronenanalyse manchmal ausreichen könnte.