Спор упирается в одно скользкое слово
Дебаты о способности ИИ к пониманию зависят от одного единственного, двусмысленного слова. 15 октября Грегори Куртцер, соучредитель CentOS и Rocky Linux, заявил в Twitter, что LLM — это «статистические модели, которые выдают токены… а не понимание предмета». Дэвид Шапиро возразил, что демонстрируемые возможности LLM действительно представляют собой понимание.
Впечатляющие заслуги Куртцера, включающие многолетнюю разработку программного обеспечения для высокопроизводительных вычислений в Национальной лаборатории имени Лоуренса в Беркли, подчеркивают серьезный характер этого спора. Основная двусмысленность кроется в самом «понимании»: оно может относиться к личному, сознательному опыту или к демонстрируемой способности интерпретировать, объяснять и использовать информацию. Эти определения отвечают на принципиально разные вопросы.
В этой статье используется проверяемый подход, оценивающий функциональную компетентность через наблюдаемое поведение. Мы рассмотрим, что могут делать модели ИИ, вместо того чтобы размышлять об их внутренних состояниях. Сознание и субъективный опыт остаются отдельными, нерешенными вопросами, отличными от объективной оценки понимания.
Поместим ИИ на шестиступенчатую лестницу Блума
Как объективно измерить «понимание»? Педагоги десятилетиями уточняли этот вопрос. Пересмотренная Таксономия Блума предлагает шестиступенчатую лестницу, определяющую понимание через наблюдаемые действия: интерпретацию, обобщение, выведение следствий, сравнение и объяснение, а не через расплывчатое внутреннее состояние. Ее ступени восходят от запоминания, понимания и применения к анализу, оценке и созданию.
Модели ИИ теперь демонстрируют возможности на всех этих ступенях. Что касается «запоминания», то передовые модели, проходящие Humanity’s Last Exam (бенчмарк из 2500 вопросов), улучшили свои показатели с менее чем 10% до примерно 61% в ходе независимого тестирования. Что касается «понимания», студенты-физики Гарварда, занимавшиеся с ИИ-тьютором, усвоили материал в два раза лучше, чем те, кто посещал занятия с активным обучением, при этом даже Грегори Куртцер признает, что LLM могут «объяснять сложные концепции».
Поднимаясь по лестнице, к «применению»: система ИИ от Google DeepMind получила золотую медаль, набрав 35 баллов из 42 на Международной математической олимпиаде, причем ее решения оценивались координаторами олимпиады. Для «анализа»: системы ИИ в рамках AI Cyber Challenge от DARPA обнаружили 54 из 63 внедренных уязвимостей в программном обеспечении, плюс 18 неумышленных.
На более высоких ступенях также наблюдается прогресс. Для «оценки»: оценки GPT-4 совпадали с оценками экспертов-людей более чем в 80% случаев. Для «создания»: исследовательские системы ИИ сгенерировали новые математические алгоритмы, продемонстрировав возможности, соответствующие определениям высшего уровня по Блуму. Эти бенчмарки демонстрируют конкретные способности, а не универсальное или эквивалентное человеческому понимание.
Почему аргумент «просто предсказание токенов» не закрывает вопрос
Описание больших языковых моделей (LLM) как просто «предсказывающих токены» объясняет, как они работают, но не определяет их возможности. Механизм не ограничивает функцию по своей сути; в конце концов, мозг — это просто работающие нейроны, но он достигает глубокого понимания. Это различие имеет решающее значение для оценки истинных возможностей ИИ.
Рассмотрите Ashby’s Law of Requisite Variety (Закон необходимого разнообразия Эшби), который гласит, что эффективный регулятор должен обладать как минимум таким же разнообразием, как и система, которую он регулирует. Теорема Конанта–Эшби далее постулирует: «Каждый хороший регулятор системы должен быть моделью этой системы». Это означает, что успешное регулирование подразумевает создание достаточно похожей внутренней модели, будь то явной или эмерджентной. AI-агенты, которые адаптируются к новым ситуациям и целям, часто демонстрируют такое внутреннее моделирование.
Доказательства существования таких обученных моделей весьма убедительны. Модель Othello, обученная исключительно на ходах игры, разработала внутреннее представление доски; манипуляция этой внутренней картиной напрямую меняла ход игры модели. Аналогичным образом, AI-модель успешно складывала белье с помощью незнакомых промышленных роботов-манипуляторов, работая так же эффективно, как опытные операторы-люди, впервые использующие то же оборудование. Эти примеры подтверждают существование функционального моделирования, указывая на то, что AI строит внутренние представления своей среды, даже если он не «мыслит» как человек. Для более глубокого изучения образовательных структур ознакомьтесь с Bloom’s Taxonomy - Vanderbilt University Center for Teaching.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Отделяйте сознание — и сохраняйте ответственность
Вывод о внутреннем опыте на основе внешнего поведения представляет собой классическую философскую проблему, примером которой является мысленный эксперимент «Китайская комната». Однако функциональные тесты позволяют установить полезную компетентность, не решая метафизический вопрос о сознании. Мы можем оценить, что система делает, не зная, что она чувствует.
Субъективная уверенность также оказывается ненадежным критерием. Люди часто переоценивают свое понимание знакомых механизмов, что приводит к ошибкам. Аналогичным образом, AI-системы могут выдавать уверенно неверные ответы, демонстрируя, что внутренняя уверенность не эквивалентна объективной точности.
Понимание AI, хотя и впечатляющее, остается неравномерным и хрупким в определенных контекстах. Эта функциональная способность не является доказательством сознания. Независимо от развивающихся возможностей AI, люди и организации сохраняют полную ответственность за системы, которые они внедряют, решения, которые они принимают на основе этих систем, и любой причиненный ущерб.
Часто задаваемые вопросы
Действительно ли AI что-то понимает?
Это зависит от определения. По наблюдаемым показателям, таким как объяснение, применение и анализ, AI может демонстрировать функциональное понимание, хотя его эффективность неравномерна.
Означает ли функциональное понимание, что AI обладает сознанием?
Нет. Демонстрация полезных способностей не доказывает, что система обладает субъективным опытом или сознанием.
Как Bloom’s Taxonomy может помочь в оценке AI?
Она предлагает наблюдаемые когнитивные задачи — от запоминания и объяснения до оценки и создания, — которые можно использовать для оценки производительности.
Почему Ashby’s Law важен для дискуссии об AI?
Он предполагает, что эффективному регулятору нужна модель системы, которой он управляет, связывая успешную адаптацию с прогностическим моделированием.