«Черный ящик» ИИ может начать раскрываться

15 октября Ник Каммарата опубликовал эссе «Neural Networks Are Already Clean» («Нейронные сети уже чисты»), бросающее вызов ключевому допущению в области интерпретируемости ИИ. Каммарата утверждает, что многие компоненты моделей могут быть гораздо более понятными, чем считали исследователи ранее, предполагая, что «черный ящик» ИИ может быть значительно прозрачнее.

Прошлый опыт Каммараты придает этому утверждению значительный вес. Он был одним из первых членов команды OpenAI по интерпретируемости, соавтором фундаментальной статьи 2020 года «Zoom In» вместе с Крисом Олой, а в 2023 году инициировал работу OpenAI по автоматизированной интерпретируемости. Сегодня он работает в Goodfire, ИИ-лаборатории, полностью сфокусированной на этой проблеме, которая недавно привлекла 150 миллионов долларов при оценке в 1,25 миллиарда долларов.

Ставки высоки. Если гипотеза Каммараты подтвердится, прямое изучение поведения модели — вместо использования косвенных методов — станет гораздо более практичной задачей. Это может произвести революцию в аудите (auditing) систем ИИ, позволяя исследователям выявлять и смягчать нежелательное поведение, такое как обман, взлом системы вознаграждения и галлюцинации, непосредственно на уровне нейронов или цепей.

Хотя похвала от таких фигур, как Сэм Альтман и roon, подчеркивает влияние эссе, его истинная значимость зависит от строгой научной проверки. В случае подтверждения работа Каммараты может фундаментально изменить область согласования ИИ (AI alignment), переведя ее из области спекулятивной теории в сторону более эмпирической «нормальной науки» (normal science).

Нейронные сети состоят из бесчисленного множества нейронов (neurons), каждый из которых активируется в ответ на определенные входные данные. Когда отдельный нейрон реагирует на несколько различных концепций — явление, известное как полисемантичность (polysemanticity), — это исторически указывало на непостижимость сети, что затрудняло прямую интерпретацию.

Влиятельная гипотеза суперпозиции гласила, что модели, сталкиваясь с ограниченным пространством представлений, упаковывают несколько признаков в отдельные нейроны. Это означало бы, что нейрон, реагирующий и на «кошек», и на «автомобили», не распознавал общий признак, а произвольно сжимал несвязанные концепции. Впоследствии были разработаны разреженные автокодировщики (sparse autoencoders) как инструмент для распутывания этих предполагаемых смешанных представлений.

Однако эссе Каммараты предлагает переосмыслить такие известные примеры. Он вновь обратился к классическому нейрону «морда кошки / передняя часть автомобиля» из модели InceptionV1. Его анализ предполагает, что и «морды кошек», и «передние части автомобилей» часто имеют общий V-образный геометрический паттерн, а другие V-образные структуры и противоположные O-образные формы дополнительно подтверждают эту общую визуальную абстракцию.

Эта интерпретация предлагает убедительную альтернативу долгое время доминировавшему нарративу о суперпозиции для данного конкретного случая. Хотя убедительное объяснение одного заметного примера бросает вызов преобладающему убеждению в повсеместной полисемантичности, оно не опровергает суперпозицию во всех моделях или контекстах. Это утверждение требует дальнейшей эмпирической проверки на различных архитектурах и задачах.

Реакции нейрона могут радикально меняться в процессе обучения. Каммарата наблюдал за одним нейроном в старой модели изображений, который изначально реагировал на широкие концепции, такие как поля и долины. Со временем, по мере обучения модели, паттерн активации этого нейрона сужался и становился более четким, в конечном итоге фокусируясь на отчетливых, но кажущихся разрозненными признаках: теннисных мячах, собаках, цветах и брокколи.

Эта эволюция предполагает рекурсивное обобщение: нейрон не просто «утрамбовывает» несвязанные признаки. Вместо этого его «значение» может расширяться через цепочку взаимосвязанных ассоциаций. Итоговый диапазон реакций может отражать этот путь развития, а не произвольное сжатие.

Проблемы с измерениями, вероятно, скрывали эту ясность. Например, ранние инструменты визуализации создавали вводящие в заблуждение изображения, похожие на собак, что преувеличивало воспринимаемую полисемантичность. Кроме того, методы оценки часто поощряли предсказательные объяснения без проверки их истинности. Эти инструменты и подходы способствовали преобладающему представлению о «черном ящике».

Сравнивая эту старую модель изображений с современной архитектурой ConvNext, Cammarata отмечает существенную разницу. Нейроны старой модели, по-видимому, расширяли свои обязанности, в то время как архитектура ConvNext давала гораздо более чистые и специализированные нейроны. Это различие подчеркивает, как архитектурный дизайн и улучшенные методы измерения могут влиять на кажущуюся интерпретируемость. Для дальнейшего чтения обратитесь к Neural Networks Are Already Clean - Nick Cammarata.

Эссе Cammarata предложило убедительные количественные оценки на основе аудитов таких моделей, как Qwen3-32B. Примерно 90% нейронов, по-видимому, имеют одну основную, идентифицируемую функцию. Около 7% продемонстрировали две тесно связанные функции, в то время как только 2–4% остались необъясненными, что предполагает высокую степень внутренней читаемости.

Эти цифры резко контрастируют с более ранними попытками интерпретируемости. Предыдущие работы, включая проект OpenAI 2023 года, инициированный Cammarata, показали, что только около 1,7% нейронов в некоторых моделях поддаются объяснению. Однако прямое сравнение затруднительно; методы, критерии оценки и архитектуры моделей значительно эволюционировали, что препятствует точному сопоставлению.

Улучшенное понимание внутренних процессов может значительно повысить AI safety. Исследователи могли бы лучше изучать и решать такие проблемы, как галлюцинации или неожиданное поведение, если бы могли проследить их происхождение до конкретной нейронной активности. Однако читаемость не является гарантией согласованности (alignment) или надежным детектором обмана; она лишь предоставляет потенциальный путь для более глубокого исследования.

Тезис Cammarata требует формальных исследований, независимой репликации и обширного тестирования на различных архитектурах и frontier-scale models, прежде чем можно будет делать широкие заявления о безопасности. Текущие выводы, хотя и многообещающие, служат рабочей гипотезой, а не окончательным заключением о внутренней чистоте нейронных сетей.

Что утверждает статья «Neural Networks Are Already Clean»?

Nick Cammarata утверждает, что многие нейроны нейронных сетей имеют идентифицируемые функции, а кажущиеся смеси могут отражать общие абстракции или ограничения инструментов анализа.

Что такое суперпозиция в ИИ?

Суперпозиция — это гипотеза о том, что сеть представляет больше признаков, чем имеет нейронов, объединяя несколько признаков в рамках одной нейронной активности.

Нужны ли еще разреженные автокодировщики (sparse autoencoders)?

Они остаются полезными исследовательскими инструментами, но тезис Cammarata ставит под сомнение идею о том, что они всегда необходимы для того, чтобы сделать представления моделей понятными.

Доказывает ли это, что передовые системы ИИ безопасны?

Нет. Выводы об интерпретируемости могут помочь в проведении аудита, но они требуют независимой репликации и сами по себе не доказывают, что модель безопасна или согласована (aligned).