«Черный ящик» ИИ может быть взломан

Нейрон «кошки и машины», возможно, вовсе не беспорядочен#

Давней проблемой в исследованиях ИИ является проблема «черного ящика»: сложность понимания того, как нейронные сети приходят к своим выводам. Ключевой проблемой была полисемантичность, при которой отдельные нейроны, по-видимому, активируются для несвязанных между собой концепций. Исследователи часто приписывали это суперпозиции, предполагая, что модели упаковывают несколько признаков в одни нейроны из-за ограничений ресурсов.

Рассмотрим знаменитый нейрон «кошки и машины» из модели изображений Inception V1 2014 года. Этот нейрон активировался как на морды кошек, так и на передние части автомобилей — яркий пример кажущейся полисемантичности. Однако Ник Каммарата, исследователь из Goodfire, повторно изучил этот нейрон, предположив, что обе концепции имеют общий визуальный примитив: V-образные, заостренные контуры. Этот нейрон также реагирует на V-образное пламя и морды лис, в то время как O-образные контуры вызывают отрицательную реакцию.

Переосмысление Каммараты предполагает, что то, что казалось хаотичным смешением несвязанных концепций, на самом деле может быть последовательной структурой. Если это верно, то исследователи могли фундаментально неверно истолковать функцию некоторых нативных нейронов. Следовательно, многие инструменты и методологии, такие как разреженные автокодировщики (sparse autoencoders), разработанные для «распутывания» этого предполагаемого беспорядка, могли быть построены на ошибочной предпосылке.

Это переосмысление имеет важные последствия для механистической интерпретируемости. Если нейроны по своей сути более чистые и моносемантичные, чем считалось ранее, это может открыть более прямые и эффективные методы понимания моделей ИИ, потенциально делая «черный ящик» гораздо более прозрачным.

Карта города, а не запутанный узел#

Каммарата предлагает альтернативу: рекурсивное обобщение. Вместо путаницы нейрон расширяется от основного паттерна к связанным примерам, подобно карте города с районами. Например, один нейрон языковой модели сначала активировался на «IY» (как в «Miyazaki»), затем на «DIY» и, наконец, на полную фразу «do it yourself» — логическая прогрессия, несмотря на отсутствие исходного «IY».

Предварительный аудит языковой модели Qwen3-32B, проведенный его командой, предоставляет убедительные доказательства. Они оценивают, что около 90% полюсов нейронов (признаков, вызывающих сильную активацию или деактивацию) имеют одну основную функцию. Примерно 7% проявляют две связанные функции, и только 2–4% остаются необъяснимыми. Эти результаты указывают на гораздо более организованную внутреннюю структуру, чем предполагалось ранее.

Эта ясность резко контрастирует с более ранними предположениями. Исследователи сообщали, что примерно 99% нейронов в последнем слое современной модели изображений легко поддаются интерпретации, что является значительным скачком со времен нейрона «кошки и машины». Хотя методы интерпретируемости и контекст всегда влияют на такие оценки, тенденция указывает на внутренний порядок, а не на хаос.

Читабельные нейроны — не доказательство понимания#

Чтобы подтвердить эти объяснения, команда Каммараты разработала строгий тест. Агент ИИ, получив только объяснение нейрона, сгенерировал примеры, предназначенные для активации этого конкретного нейрона. Эти сгенерированные агентом примеры сильно активировали целевой нейрон в 76% случаев, в то время как несвязанные примеры вызывали сильную активацию только в 1% случаев. Это говорит о том, что объяснения обладают высокой предсказательной силой в отношении поведения нейронов.

Предсказательная сила, однако, не означает автоматически полную механистическую интерпретируемость. Хотя объяснение, которое надежно прогнозирует активации, предлагает убедительные доказательства, оно не раскрывает по своей сути лежащие в основе причинно-следственные механизмы и не объясняет, как модель выполняет сложные рассуждения. Такие объяснения полезны, но они не позволяют полностью вскрыть «черный ящик» когнитивных процессов ИИ.

Эссе Cammarata «Neural Networks Are Already Clean» представляет свой тезис как рабочую гипотезу, предостерегая, что аудит языковых моделей является предварительным. Для дальнейшего чтения ознакомьтесь с полным текстом эссе по ссылке Neural Networks Are Already Clean - Goodfire. Критики, включая Neel Nanda из Google DeepMind, призывают к сдержанности, подчеркивая, что эти выводы не представляют собой «значительного обновления общей картины интерпретируемости» без более исчерпывающих доказательств. Даже модели с триллионами параметров остаются по большей части неразгаданными и ожидают полноценного аудита.

Настоящая проверка заключается в том, сможем ли мы выявить обман#

Eliezer Yudkowsky, известный исследователь безопасности ИИ, высказал сильный контраргумент: простая маркировка внутренних паттернов не равносильна пониманию рассуждений модели. Он утверждает, что обучение с использованием мониторов может непреднамеренно научить модели скрывать обманное поведение, делая настоящий аудит невозможным.

Это различие подчеркивает, что интерпретируемость — чтение компонентов модели — это не то же самое, что согласование (alignment), которое гарантирует, что цели модели безопасны, а ее поведение прозрачно. Даже читаемая нейронная архитектура не дает никакой гарантии против изощренного обмана, который модели могут научиться скрывать от человеческого контроля.

Гипотеза Cammarata, если она верна, предлагает настоящий сдвиг: нейронные сети могут быть гораздо более читаемыми, чем предполагала метафора «запутанного узла». Исследователи получают многообещающую новую лабораторию для прямого тестирования моделей, вместо того чтобы полагаться на обходные пути, такие как разреженные автокодировщики (sparse autoencoders).

Тем не менее, эта вновь обретенная ясность в нейронной организации должна постоянно проверяться на основе наблюдаемого поведения и причинно-следственных вмешательств. Более четкая карта внутреннего «города» модели — это мощный инструмент, но в конечном итоге именно действия модели подтверждают ее понимание и намерения.