Миф об ИИ-нейроне может рушиться

В течение многих лет нейрон 4E:55 в модели изображений Google InceptionV1 считался ярким примером суперпозиции, активируясь как на морды кошек, так и на передние части автомобилей. Это наблюдение 2020 года, освещенное в статье Distill «Zoom In: An Introduction to Circuits: An Introduction to Circuits», по-видимому, подтверждало, что нейронные сети объединяют несвязанные концепции в отдельные нейроны, делая прямую интерпретируемость невозможной.

Однако Ник Каммарата, соавтор статьи «Zoom In: An Introduction to Circuits: An Introduction to Circuits», теперь предлагает пересмотренную трактовку. Он утверждает, что нейрон 4E:55 не является полисемантичным, а представляет собой детектор V-образной формы. Он активируется на заостренные элементы, такие как морды лис, V-образное пламя и струи воды пожарных катеров, в то время как круглые формы подавляют его активацию. Очевидная связь между мордами кошек и передними частями автомобилей возникла из-за общей геометрической характеристики, а не из-за концептуального наложения.

Эта переинтерпретация ставит под сомнение фундаментальное допущение в интерпретируемости ИИ. Если исследователи ошибочно принимают общие визуальные признаки за несвязанные концепции, они рискуют преувеличить непрозрачность сети. Эта конкретная переоценка нейрона 4E:55 предполагает, что некоторые нейроны, ранее считавшиеся непостижимыми, на самом деле могут быть моносемантичными, обнаруживая один последовательный признак.

Это переинтерпретация одного, пусть и известного, примера, а не универсальное доказательство того, что все нейроны сразу становятся понятными. Но это повышает ставки для прямой интерпретируемости, предполагая, что «миф об ИИ-нейроне» о его врожденной непрозрачности может рушиться.

Суперпозиция, господствующая теория в течение многих лет, постулирует, что модели с ограниченной репрезентативной емкостью кодируют несколько признаков в перекрывающихся направлениях. Это затрудняет прямую интерпретацию отдельных нейронных компонентов, подобно попытке различить отдельные голоса в переполненной комнате, где все говорят одновременно. Эта перспектива стимулировала разработку sparse autoencoders (SAE) — моделей, предназначенных для распутывания этих плотных, перекрывающихся активаций и восстановления более понятных, дискретных признаков.

Однако альтернативное объяснение поведения нейронов, recursive generalization, бросает вызов основной предпосылке суперпозиции. Ник Каммарата, соавтор статьи Distill 2020 года «Zoom In: An Introduction to Circuits: An Introduction to Circuits», теперь предполагает, что нейрон не объединяет случайным образом несвязанные концепции. Вместо этого он расширяет свою функцию от простого шаблона до связанных применений в процессе обучения, подобно тому, как ветка дерева отращивает более мелкие, связанные ветви.

Каммарата иллюстрирует это на примере нейрона языковой модели, который изначально обнаруживал «IY». Со временем этот нейрон обобщился до «DIY» и, в конечном итоге, до полной фразы «do it yourself», даже когда «IY» явно не присутствовало. Хотя это описание является иллюстративным, а не формальной гипотезой, оно предполагает, что нейроны развиваются вдоль семантического градиента, расширяя свои обязанности логически связанным образом, а не упаковывая разрозненные идеи вместе из-за ограничений емкости. Эта интерпретация подразумевает гораздо более структурированную и внутренне интерпретируемую сеть, чем предполагалось ранее.

Новые данные резко контрастируют с предыдущими результатами в области интерпретируемости. Исторические исследования, включая статью Anthropic 2023 года «Towards Monosemanticity: Decomposing Language Models With Dictionary Learning», часто выявляли крайне низкую долю легко интерпретируемых нейронов языковых моделей: медианные показатели интерпретируемости составляли 0 из 14. Проект OpenAI по «автоматизированной интерпретируемости» того же года аналогичным образом определил как интерпретируемые лишь около 1,7% нейронов.

Однако предварительные аудиты Goodfire показывают совершенно иные цифры для Qwen 3 32B. Сообщается, что примерно 90% полюсов нейронов имеют одну основную функцию, в то время как около 7% отвечают за две тесно связанные задачи. Лишь 2–4% нейронов остаются неклассифицированными.

Что касается моделей изображений, Goodfire сообщает, что примерно 99% нейронов последнего слоя современной модели, обученной при том же размере на идентичных данных, оказались интерпретируемыми. Это существенно пересматривает более ранние оценки, согласно которым почти ни один нейрон в последнем слое InceptionV1 не был напрямую читаемым. Эти цифры относятся конкретно к последнему слою и не распространяются на все слои или архитектуры.

Эти поразительные цифры взяты из неофициального эссе и аудитов компании, а не из рецензируемой технической статьи. Несмотря на многообещающий характер, их влияние на выводы в данной области зависит от строгих методов оценки, всестороннего охвата моделей и независимого воспроизведения результатов. Подробности см. в эссе Neural Networks Are Already Clean - Goodfire.

Если предварительные выводы Goodfire подтвердятся, сдвиг в исследованиях интерпретируемости может быть глубоким. Вместо того чтобы в первую очередь обучать вторую модель, например, разреженный автокодировщик (sparse autoencoder), для реконструкции признаков, исследователи в некоторых случаях могут напрямую изучать и отслеживать нативные нейроны. Это упростило бы процесс, снизив зависимость от косвенных методов.

Это обещание напрямую касается безопасности и инженерии ИИ. Более понятные нейронные цепи могут значительно облегчить аудит, отладку или даже управление поведением модели. Однако одни лишь читаемые нейроны не гарантируют надежного контроля или согласования (alignment); сложность взаимодействий на системном уровне остается серьезной проблемой.

Научное сообщество ожидает строгих проверок. Даже скептики, такие как Neel Nanda, предостерегают, что интуитивные объяснения сильных активаций не исключают суперпозицию, особенно в случае слабых активаций и плотных представлений знаний. Следующим критическим шагом является строгое воспроизведение результатов на широком спектре моделей и слоев для проверки гипотезы «уже чистых» нейронов (already clean).

Что означает утверждение, что нейронные сети уже «чисты»?

Утверждение Nick Cammarata заключается в том, что многие отдельные нейроны могут иметь понятные функции без необходимости предварительного распутывания их с помощью отдельной модели.

Что обнаруживал нейрон «кошка-и-машина»?

Cammarata утверждает, что нейрон Inception реагировал на общую V-образную геометрию в мордах кошек, передних частях автомобилей и других заостренных формах.

Опровергает ли это суперпозицию?

Нет. В эссе утверждается, что некоторая кажущаяся полисемантичность может быть истолкована неверно, но это утверждение требует более широкой проверки и не исключает суперпозицию.

Являются ли разреженные автокодировщики больше не нужными?

Это не установлено. Они остаются важным инструментом интерпретируемости; эссе лишь допускает возможность того, что прямой анализ нейронов иногда может быть достаточным.