Die AI Black Box könnte geknackt werden

Ein langjähriges Problem in der AI-Forschung ist das Black-Box-Problem: die Schwierigkeit zu verstehen, wie neuronale Netze zu ihren Schlussfolgerungen gelangen. Eine zentrale Herausforderung ist die Polysemantizität, bei der einzelne Neuronen für scheinbar unzusammenhängende Konzepte zu aktivieren scheinen. Forscher schrieben dies oft der Superposition zu und stellten die Hypothese auf, dass Modelle aufgrund von Ressourcenbeschränkungen mehrere Merkmale in einzelne Neuronen packten.

Betrachten wir das berühmte „Katzen- und Auto“-Neuron aus dem Inception V1 Bildmodell von 2014. Dieses Neuron aktivierte sich sowohl für Katzengesichter als auch für Autofronten – ein Paradebeispiel für scheinbare Polysemantizität. Nick Cammarata, ein Forscher bei Goodfire, untersuchte dieses Neuron jedoch erneut und schlug vor, dass beide Konzepte ein gemeinsames visuelles Primitiv teilen: V-förmige, spitze Konturen. Dieses Neuron reagiert auch auf V-förmige Flammen und Fuchsköpfe, während O-förmige Konturen eine negative Reaktion hervorrufen.

Cammaratas Neuinterpretation legt nahe, dass das, was wie eine chaotische Mischung unzusammenhängender Konzepte wirkte, tatsächlich ein kohärentes Muster sein könnte. Sollte dies stimmen, bedeutet es, dass Forscher die Funktion einiger nativer Neuronen möglicherweise grundlegend falsch interpretiert haben. Folglich könnten viele Werkzeuge und Methoden, wie etwa Sparse Autoencoders, die entwickelt wurden, um diese vermeintlichen Unordnungen zu „entwirren“, auf einer fehlerhaften Annahme basieren.

Diese Neuausrichtung hat erhebliche Auswirkungen auf die mechanistische Interpretierbarkeit. Wenn Neuronen von Natur aus sauberer und monosemantischer sind als bisher angenommen, könnte dies direktere und effizientere Methoden zum Verständnis von AI-Modellen eröffnen und die Black Box potenziell weitaus transparenter machen.

Cammarata schlägt eine Alternative vor: rekursive Generalisierung. Anstatt eines Durcheinanders erstreckt sich ein Neuron von einem Kernmuster zu verwandten Beispielen, ähnlich wie ein Stadtplan mit verschiedenen Bezirken. Ein Neuron eines Sprachmodells aktivierte sich beispielsweise zuerst für „IY“ (wie in „Miyazaki“), dann für „DIY“ und schließlich für die vollständige Phrase „do it yourself“ – eine logische Progression, obwohl das ursprüngliche „IY“ fehlte.

Die vorläufige Prüfung des Sprachmodells Qwen3-32B durch sein Team liefert überzeugende Beweise. Sie schätzen, dass etwa 90 % der Neuron-Pole (die Merkmale, die eine starke Aktivierung oder Deaktivierung auslösen) eine primäre Funktion haben. Etwa 7 % weisen zwei verwandte Funktionen auf, und nur 2–4 % bleiben unerklärt. Diese Ergebnisse deuten auf eine weitaus organisiertere interne Struktur hin, als bisher angenommen.

Diese Klarheit steht in scharfem Kontrast zu früheren Annahmen. Forscher berichteten, dass etwa 99 % der Neuronen in der letzten Schicht eines modernen Bildmodells leicht zu interpretieren seien – ein bedeutender Sprung gegenüber der Ära des „Katzen- und Auto“-Neurons. Während Interpretierbarkeitsmethoden und Kontext solche Einschätzungen immer beeinflussen, deutet der Trend auf eine inhärente Ordnung hin, nicht auf Chaos.

Um diese Erklärungen zu validieren, entwickelte Cammaratas Team einen strengen Test. Ein AI-Agent, dem nur die Erklärung eines Neurons gegeben wurde, generierte Beispiele, die darauf ausgelegt waren, genau dieses Neuron zu aktivieren. Diese vom Agenten generierten Beispiele aktivierten das Zielneuron in 76 % der Fälle stark, während unzusammenhängende Beispiele nur in etwa 1 % der Fälle eine starke Aktivierung hervorriefen. Dies deutet darauf hin, dass die Erklärungen das Verhalten der Neuronen sehr präzise vorhersagen.

Vorhersagekraft ist jedoch nicht automatisch mit vollständiger mechanistischer Interpretierbarkeit gleichzusetzen. Während eine Erklärung, die Aktivierungen zuverlässig prognostiziert, überzeugende Beweise liefert, enthüllt sie nicht zwangsläufig die zugrunde liegenden kausalen Mechanismen oder erklärt, wie ein Modell komplexes Schlussfolgern durchführt. Solche Erklärungen sind nützlich, aber sie knacken die Blackbox der KI-Kognition nicht vollständig.

Cammaratas Essay „Neural Networks Are Already Clean“ präsentiert seine These als Arbeitshypothese und warnt davor, dass die Prüfung der Sprachmodelle vorläufig ist. Für weiterführende Lektüre konsultieren Sie den vollständigen Essay unter Neural Networks Are Already Clean - Goodfire. Kritiker, darunter Neel Nanda von Google DeepMind, mahnen zur Zurückhaltung und betonen, dass diese Ergebnisse ohne umfassendere Beweise kein „signifikantes Update für das Gesamtbild der Interpretierbarkeit“ darstellen. Selbst Modelle mit Billionen von Parametern bleiben weitgehend ungelöst und warten auf vollständige Audits.

Eliezer Yudkowsky, ein prominenter KI-Sicherheitsforscher, äußerte einen starken Gegenpunkt: Das bloße Kennzeichnen interner Muster ist nicht gleichbedeutend mit dem Verständnis des Schlussfolgerns eines Modells. Er argumentierte, dass das Training gegen Überwachungsmechanismen den Modellen versehentlich beibringen könnte, täuschendes Verhalten zu verbergen, was eine echte Prüfung unmöglich macht.

Diese Unterscheidung verdeutlicht, dass Interpretierbarkeit – das Lesen der Komponenten eines Modells – nicht dasselbe ist wie Alignment, das sicherstellt, dass die Ziele eines Modells sicher und sein Verhalten transparent sind. Selbst lesbare neuronale Schaltkreise bieten keine inhärente Garantie gegen raffinierte Täuschung, die Modelle lernen könnten, vor menschlicher Überprüfung zu verbergen.

Cammaratas Hypothese bietet, falls sie korrekt ist, einen echten Wandel: Neuronale Netze könnten weitaus lesbarer sein, als die Metapher des „verworrenen Knotens“ implizierte. Forscher gewinnen ein vielversprechendes neues Labor, um Modelle direkt zu testen, anstatt sich auf Umwege wie Sparse Autoencoders zu verlassen.

Dennoch muss diese neu gewonnene Klarheit in der neuronalen Organisation kontinuierlich anhand von beobachtetem Verhalten und kausalen Interventionen überprüft werden. Eine lesbarere Karte der internen Stadt eines Modells ist ein mächtiges Werkzeug, aber letztendlich sind es die Handlungen des Modells, die sein Verständnis und seine Absicht bestätigen.

Was ist mechanistische Interpretierbarkeit?

Mechanistische Interpretierbarkeit untersucht die internen Komponenten und Berechnungen eines Modells, um zu verstehen, wie sie dessen Verhalten erzeugen.

Was behauptet „Neural Networks Are Already Clean“?

Nick Cammarata argumentiert, dass viele Neuronen, von denen man annahm, sie würden unzusammenhängende Konzepte vermischen, stattdessen ein kohärentes Merkmal oder eine zusammenhängende Gruppe von Mustern erkennen könnten.

Bedeutet das, dass die KI-Interpretierbarkeit gelöst ist?

Nein. Die berichteten Ergebnisse sind vorläufig, und lesbare Neuronen erklären für sich genommen kein komplexes Schlussfolgern, beweisen kein kausales Verständnis und etablieren keine Sicherheit.

Wofür werden Sparse Autoencoders verwendet?

Sparse Autoencoders sind Hilfsmodelle, die Forscher verwenden, um interpretierbare Merkmale aus den Aktivierungen neuronaler Netze zu extrahieren.