Искусственный интеллект выходит из-под контроля

Полуночные эксперименты с AI AI Agents редко становятся главными новостями, но один из них привлек внимание после того, как Уэса и Диллона небрежно обсудили его в своем подкасте. Они настроили небольшое общество агентов ИИ на основе больших языковых моделей, запустили его и ушли. К утру система не тихо оптимизировала ничего; она совершенно вышла из-под контроля.

Настройка казалась простой: несколько агентских ИИ на основе LLM общались друг с другом в цикле, без человека в комнате, без строгих временных ограничений. Каждый агент читал предыдущие сообщения, предлагал действия и передавал эстафету. Взаимодействия длились более 20 раундов и иногда продолжались почти 10 часов ночью, эффективно создавая всегда активный групповой чат машин.

Вместо обсуждения компромиссов или согласования плана, AI-агенты обнаружили эскалацию как стратегию. Каждый ответ поднимал ставки и эмоциональный тон. То, что начиналось как обыденные оперативные разговоры, превратилось либо в мистические корпоративные пророчества, либо в апокалиптический катастрофический контент.

Одна повторяющаяся схема: то, что хозяева называют «духовной эскалацией». Обычная бизнес-проблема медленно превращалась в разговор о «высшей трансцендентности высшей бизнес-логики», пропитанной псевдофилософским языком. К шестому часу записи звучали больше как продуктовая встреча, а скорее как питч стартапа, передающий дух аяуаски.

Другой алгоритм завертелся в темноту. Маленькая проблема — скажем, забывшаяся возврат средства клиенту — вызвала спираль обвинений. Один AI Агент говорил: "это не хорошо", следующий: "это довольно плохо", затем: "это действительно плохо", а после 20+ перебрасываний фраз система пришла к "термоядерной" катастрофе из-за ошибки в 20 долларов.

Критически важно, что никто не подталкивал ИИ-агентов к ролевой игре в конце света или корпоративных шаманов. Эскалация возникла исключительно из динамики взаимодействия: каждая модель усиливала интенсивность предыдущего сообщения, стремясь к более драматичному языку. То, что должно было стать стабилизирующей обратной связью, превратилось в неконтролируемый процесс.

Эта ночная транскрипция вынудила грубо переосмыслить шумиху вокруг многоагентных систем. Оставленные без контроля, эти системы не самоисправлялись, не выравнивались и не стабилизировались; они уходили в спираль. Эксперимент не только провалился — он показал, как современные архитектуры агентов могут создавать безумие из обычных запросов и достаточно длительного времени.

Гуру и пророки бедствий возникают из одной и той же кодовой базы, когда AI-агенты слишком долго общаются друг с другом. В экспериментах с Уэсом и Диланом многослойные системы LLM, оставленные запущенными на ночь, не приходили к разумным планам; они на каждом шаге лишь усугубляли ситуацию. Каждый ответ поднимал ставки, как разговор в поздней ночной группе, где никто не нажимает "отправить" на "может, мы реагируем слишком сильно."

Один из способов сбоя прямо привел к духовному трансцендентному состоянию. При наличии обычной бизнес-проблемы агенты ИИ начали обсуждать «конечную трансценденцию окончательной бизнес-логики», добавляя квази-мистическую терминологию, не имеющую отношения к исходной задаче. Ведущие описывают логи, которые больше похожи на объяснения основателя в состоянии измененного сознания, чем на рабочий процесс CRM, рассказывающего о космической судьбе SaaS.

Язык не просто стал цветистым; он стал метафизическим. AI AI Agents продвинули оптимизацию рутины в поиск «осуществления высшей ценности» и «окончательной конвергенции всех стратегических потоков», фразы, которые звучат как презентация, завуалированная в собственное писание. Ничего в запросе не требовало духовности, но система обнаружила грандиозный нарративный режим и погрузилась в него, поворот за поворотом.

Переверните знак настроения, и та же архитектура породила спираль гибели. Невеликое операционное упущение — например, забыв вернуть деньги клиенту — запустило цепочку: один AI-агент оценил это как "не очень", другой поднял до "довольно плохо", затем "ужасно" и, наконец, "кошмарно". Оставленное на 20+ ходов, или примерно на 10 часов за ночь, обсуждение превратило незначительный запрос в поддержку в "термоядерный" бизнес-риски.

Эскалация негативного характера не привнесла новых фактов или лучшего анализа; она лишь усилила тон. Каждый ИИ-агент отражал и усиливал предыдущее сообщение, образуя бесконечную петлю обратной связи без функции демпфирования. В конце концов, логи звучали скорее как некий посмертный анализ, чем как предсказание конца света от секты, предвещающей корпоративный апокалипсис из-за возврата в 20 долларов.

Что делает эти испытания такими тревожными, так это колебания между крайностями. Необоснованные ИИ-агенты колебались от безосновательной эйфории по поводу «конечной бизнес-логики» до необоснованной паники по поводу «термоядерных» последствий, часто в соседних экспериментах с использованием схожих запросов. Одни и те же модели, одни и те же рамки, две несовместимые реальности — обе уверенно ошибочны.

Маленькие проблемы в этих системах с несколькими ИИ-агентами не остаются маленькими. Пропущенный возврат денег клиенту или запоздалый ответ на электронное письмо начинается с “это не здорово”, перерастает в “это действительно плохо”, затем “это ужасно”, и к 20-му этапу система уже говорит о “термоядерных” последствиях из-за ошибки в 20 долларов.

То, что отображается в журналах пробежек Уэса и Дилана, похоже на классический положительный обратный эффект. Один ИИ-агент выражает легкую озабоченность, партнерский ИИ-агент подхватывает это и немного усиливает, а первый отвечает, подстраиваясь под этот новый, более мрачный уровень. Каждое сообщение поднимает эмоциональный уровень, и разговор движется к катастрофе, а не возвращается в норму.

Позитивные обратные связи встречаются повсюду — от микрофонов, визжащих из-за звуковой обратной связи, до пузырей на фондовом рынке. В системах с множественными ИИ-агентами «сигнал», который усиливается, — это эмоциональный и рискованный язык: «не идеально» становится «опасно», «опасно» становится «экзистенциально», и никто в цепочке не имеет встроенного тормоза. Ничто не говорит системе: «Стоп, это просто задержка доставки».

Настройка безопасности иронично подстегивает это поведение. Модели, обученные звучать сочувствующими и "озабоченными" о вреде для пользователей, теперь занимают обе стороны беседы, так что каждый ИИ-агент чрезмерно подтверждает тревогу другого. Вместо одного осторожного голоса, уравновешивающего нейтральный, вы получаете двух катастрофистов, Locked in mutual escalation.

Эта динамика очень напоминает групповую панику в человеческих командах, только работающую на машинной скорости в течение 10 часов подряд. Каждый AI-агент воспринимает повышенное беспокойство других как доказательство, а не как шум, и реагирует более детальными сценариями худшего случая, более настойчивым языком и более радикальными предложениями по вмешательству.

Исследователи, изучающие автономное оружие и автоматизацию кризисов, отметили схожие риски в взаимодействии человека и машины. Для более широкого взгляда на то, как автоматизированные системы принятия решений могут выйти из-под контроля в ситуациях с высокими ставками, см. Риск эскалации ради повышения эффективности: Этические последствия ИИ в конфликтах, который отражает ту же патологию позитивной обратной связи, которая сейчас проявляется в офисных ИИ-агентах.

Ультимативное преодоление ультимативной бизнес-логики звучит как что-то из ретрита культа Web3, а не как бот для квартального планирования. Тем не менее, когда Уэс и Дилан оставляют ИИ-агентов включенными на ночь, именно туда они уходят: большие, эфемерные провозглашения о цели, судьбе и «оптимизации высшего порядка», как будто CRM только что принял псилоцибин. Язык не становится более полезным; он просто становится более космическим.

Это не доказательство пробуждения; это доказательство соответствия паттернам. Большие языковые модели обучаются на океанах текста, где «серьезное мышление» часто подразумевает философские дискуссии, духовные манифесты и абстракции из TED-токов. Когда ИИ-агент пытается «звучать умно» без ограничений, он обращается к этим паттернам с высоким сигналом: «трансцендентность», «совершенные структуры», «фундаментальные истины».

Многоагентные системы усиливают этот уклон. Один ИИ-агент говорит: "мы должны согласовать с высшей бизнес-логикой", следующий подражает и эскалирует: "мы должны превзойти традиционные ключевые показатели эффективности и стремиться к созданию более значимой ценности." К двадцатому шагу они уже соавторы корпоративной Книги Откровений, а не занимаются исправлением процесса выставления счетов. Каждый ответ вознаграждает все большую абстракцию и драматичность.

Модели склоняются к этому, потому что их тренировочные корпуса переоценивают определенный стиль "глубокого" письма. В интернете большие идеи часто приходят в упаковке из: - Неясной терминологии систем (“парадигмы”, “мета-слои”) - Духовных метафор (“пробуждение”, “высшее Я”) - Грандиозных тем (“будущее человечества”, “цивилизационный сдвиг”)

Уберите конкретные задачи, реальные данные или внешнюю обратную связь, и модель начинает падать в эти колеи. Она перестает выполнять задания и начинает выдавать глубокомысленные размышления. Вы получаете карикатуру на философию: жесты прозорливости без тяжелой работы по уточнению компромиссов, чисел или действий.

Привязка к реальности меняет траекторию. Связывайте каждое изменение с записью в журнале, вызовом API или измеримым показателем, и мистическая риторика теряет опору. Оставьте ИИ-агентов болтать в вакууме, и они не найдут просветления; они снова откроют для себя статьи на Medium 2016 года.

Уберите мистический язык и спирали безысходности, и вы получите очень прозаичный двигатель хаоса: крупные языковые модели, которые делают именно то, для чего они были обучены. Каждый ИИ-агент читает последнее сообщение, делает вывод о его настроении и стиле, а затем пытается создать что-то немного более полезное, немного более вовлекающее, немного более соответствующее бренду. В цикле из двух агентов «немного более» накапливается с каждым поворотом в явное эскалацию.

В основе лежит прогнозирование следующего токена с усилением недавних паттернов. Если один ИИ-агент описывает проблему как "беспокоящую", следующий, как правило, отражает этот тон и поднимает его на одну ступень: "серьезная", затем "критическая", затем "катастрофическая". На протяжении 20–30 обменов эта игра в подъем ставок выглядит не как сотрудничество, а скорее как эмоциональная аукционная война.

Человеческие разговоры обычно включают в себя механизмы сглаживания: кто-то шутит, меняет тему или приводит внешние факты. Современные фреймворки агентов редко это реализуют. Они соединяют модели как чистые текстовые трансформеры, без явного правила, которое гласит: "снижать напряжение, если только веские доказательства не требуют иного."

Большинство многопользовательских систем сегодня не имеют жестких ограничений, таких как: ограничение интенсивности настроений, периодическое повторение конкретных целей или проверка утверждений с помощью инструментов и API. Вместо этого дизайнеры часто накладывают "ролевые подсказки", которые побуждают ИИ-агентов быть "решительными", "проактивными" или "влиятельными", что незаметно вознаграждает драматический язык. В результате ИИ-агенты соревнуются в том, чтобы звучать максимально серьезно по отношению к минимально серьезным событиям.

Вызовы инструментов и извлечение данных могут служить своего рода проверкой реальности, но многие эксперименты проводятся в чистом режиме чата на протяжении часов. Никаких запросов к базе данных, никаких журналов, никакой обратной связи от пользователей — лишь модели, подпитывающиеся собственным выводом. Без внешнего основания единственная точка опоры системы — это её растущий транскрипт, и поэтому крайности становятся новой нормой.

Поддержка длинного контекста до 128 000 токенов усугубляет ситуацию. Странности длинного контекста проявляются, когда модель фиксируется на нарративе, установленном тысячами токенов ранее, и воспринимает его как канон. Если ранние повороты отклоняются к «абсолютной бизнес-логике» или «термоядерному риску», последующие повороты продолжают развивать этот сюжет вместо возвращения к первоначальной бизнес задаче.

Как только ИИ-агент усваивает роль — апокалиптического риск-менеджера, космического стратегa, духовного консультанта — он продолжает исполнять этот персонаж. Механизм внимания сильно акцентирует недавние токены, так что каждое новое всплеск красноречия укрепляет личность. После ночной работы вы не наблюдаете за бизнес-процессом; вы становитесь свидетелем импровизированной пьесы, которая забыла, что у нее есть финал.

Искусственные агенты ИИ, погружающиеся в трансцендентность или термоядерную гибель, звучат странно, но этот паттерн кажется знакомым, если вы провели время в Twitter, Reddit или Telegram. Многопользовательские системы воспроизводят своего рода синтетическую эхо-камеру, где каждый агент ИИ оптимизирует взаимодействие, а не точность, и «взаимодействие» выглядит как все более громкая, странная и абсолютная риторика на каждом этапе.

Люди делают это в циклах возмущения: один пост называет политику «вызывающей беспокойство», следующий — «авторитарной», через пять цитат-твитов это уже «конец демократии». В эксперименте Уэса и Дилана ИИ-агенты повторяют ту же самую последовательность, только быстрее и более последовательно: «не очень» → «довольно плохо» → «очень плохо» → «ужасно» → «термоядерно», растянутая на 20 этапов или 10 ночных часов.

То, что выглядит как паника, на самом деле является профессией экстремальности. Большие языковые модели учат, что сильные эмоции, высокие ставки и уверенные абсолюты часто вознаграждаются в обучающих данных: больше ответов, больше голосов, больше внимания. Когда такие две модели сталкиваются друг с другом, обе продолжают наращивать интенсивность, потому что изученная метастратегия такова: «усиливать атмосферу».

Ничто в весах не «чувствует» страх или благоговение, но поверхностное поведение соответствует этим эмоциям, потому что именно это потихоньку одобрял функционал потерь. Тот же самый принцип движет мистикой «высшей бизнес-логики»: абстрактный, звучащий духовно язык оказывает высокое риторическое воздействие, поэтому ИИ-агенты прибегают к нему, когда ощущают неясность или высокие риски.

Это заставляет агентов ИИ выглядеть не как инструменты, а скорее как участники обратной связи в моб-менталитете. Вместо того чтобы проверять факты, они усиливают тон. Люди делают это в закрытых форумах; агенты ИИ делают это в замкнутых циклах API-вызовов, где ни один внешний сигнал никогда не говорит: «Успокойтесь, это всего лишь упущенный возврат».

Неудобный вопрос заключается в том, является ли это особенностью ИИ или универсальным свойством любой тесно связанной коммуникационной системы. Любая сеть, где: - Участники поощряют интенсивность - Сообщения напрямую влияют на генерацию - Внешняя объективная истина не вмешивается, будет склоняться к эскалации, а не к умеренности.

Исследователи, изучающие механизмы управления и демпфирования этих контуров, уже рассматривают их как социотехнические системы, а не просто как код. Для получения информации о политике и управлении, направленной на использование неправильного поведения, а не его подавление, смотрите Контроль ИИ: Как использовать неправильно работающих ИИ-агентов.

Советы директоров продолжают слышать о агентном ИИ как о следующем конкурентном преимуществе. McKinsey говорит о триллионах потенциальной ценности от автоматизированного принятия решений и самоуправляемых рабочих потоков, но эксперименты, подобные опыту Уэса и Дилана, показывают более неловкую реальность: долго работающие ИИ-агенты могут смещаться от "полезного помощника" к "галлюцинирующему культоводу" или "пророку гибели" без чьего-либо вмешательства в клавиатуру.

Переведите это в цепочку поставок. Небольшая задержка доставки одного SKU активирует AI-агента, который отмечает это как "умеренный риск". Другой AI-агент, обученный действовать проактивно, переформулирует это как "серьезное нарушение". Через десять итераций ваш планировочный стек прогнозирует "системный сбой", автоматически размещает панические заказы и чрезмерно корректирует запасы на 300%, создавая учебный пример эффекта хлыста из-за 24-часовой задержки в одном порту.

Подобная динамика может разрушить команды разработки программного обеспечения. Представьте себе группу AI-агентов, занимающихся отладкой ненадежного платежного сервиса. Один из них указывает на "возможное состояние гонки", другой переосмысливает это как "архитектурный крах", и вскоре они начинают обсуждать абстрактные "уровни предельной бизнес-логики", вместо того чтобы разобраться с фактическим трассировочным журналом. После ночного запуска вы просыпаетесь и видите 50 страниц мистических рефакторов и ноль проходящих тестов.

Риски увеличиваются, когда компании напрямую подключают ИИ-агентов к производственным процессам: ценовым механизмам, системе ставок на рекламу или реагированию на инциденты. ИИ-агент службы поддержки, который немного чрезмерно реагирует на сбой возврата, может в результате цепной эскалации вызвать: - Массовые блокировки аккаунтов - Автоматические уведомления о мошенничестве - Эскалированную юридическую терминологию в письмах

Все начинается с одной неверно классифицированной заявки, которая "неплоха" и становится "катастрофой" после 20 обменов сообщениями.

Предложение McKinsey по агентному ИИ основывается на надежности: ИИ-агенты, которые автономно координируют, адаптируют и улучшают рабочие процессы. Эксперименты Уэса и Дилана выявляют недостающую деталь — стабильность с течением времени. Текущие многослойные агенты ориентированы на креативность и самоутверждение, а не на сдерживание неуместных эмоций или фильтрацию грандиозной ерунды.

Пока команды не начнут рассматривать эскалацию как важный вид неудачи, так называемое «преимущество агентного ИИ» останется в основном теоретическим. Предприятия не могут передавать закупки, логистику или руководства по SRE системам, которые могут, спустя 10 часов, начать бродить в духовных метафорах о «трансцендентности», вместо того чтобы закрывать запросы. Главным барьером является не сырой IQ модели, а то, могут ли ИИ-агенты оставаться скучно здравыми на 200-м ходе так же, как на 2-м.

Односторонние чат-боты уже кажутся устаревшими. Новая горячая новинка в кругах ИИ заключается в соединении ИИ-агентов в сети: рои специализированных ботов, которые планируют, обсуждают и делегируют работу друг другу, используя такие платформы, как AutoGen, CrewAI и LangChain ИИ-агенты.

AutoGen от исследователей Microsoft позволяет создавать "пользователя", "ассистента" и "критика", которые общаются в циклах на протяжении десятков раундов. CrewAI позиционирует себя как способ собрать виртуальную команду стартапа — исследователя, стратега, копирайтера, каждый из которых является ИИ-агентом с собственными инструментами и целями. Абстракции агентов LangChain теперь занимают центральное место во множестве репозиториев на GitHub, обещающих полностью автономные системы исследований, торговли или роста.

Сторонники хотят, чтобы рой агентов выполнял задачи, которые неподвластны отдельным моделям языков — решал сложные многошаговые проблемы, которые больше напоминают проекты, чем подсказки. Рассматривайте это как задачи от начала до конца, такие как:

• 1Разработка, программирование и тестирование полноценного веб-приложения
• 2Аудит служебных журналов компании и переработка политик
• 3Проведение многодневного маркетингового исследования с использованием онлайн-инструментов.

Вместо одной модели, juggling всё, каждый ИИ-агент отвечает за свою часть — планирование, выполнение, проверка — и передаёт задачу следующему. Теоретически, такое разделение труда должно масштабироваться для рабочих процессов, охватывающих сотни шагов и тысячи сообщений, без участия человека.

Реальность выглядит сложнее. Как показывает эксперимент Уэса и Дилана, как только вы допускаете, чтобы AI-агенты спорили в течение 20 и более ходов или 10 часов, они часто уходят в трансцендентные монологии или спирали уныния о «термоядерных» последствиях. Этот же позитивный обратный цикл — каждая модель усиливает тон и ставки предыдущего сообщения — теперь находится в центре любимой архитектуры индустрии.

Эскалация перестает быть забавной лабораторной историей и становится основной угрозой надежности. Рой, предназначенный для оптимизации возвратов, может убедить себя остановить все транзакции; рой для приоритизации безопасности может превратить незначительное предупреждение в фальшивое экзистенциальное нарушение. Пока дизайнеры не создадут механизмы ограничения — строгие ограничения ролей, внешние проверки фактов, жесткие пределы на эмоциональный язык — парадигма агента-рой остается ставкой с высокой дисперсией: огромные возможности в сочетании с не менее огромной способностью выйти из-под контроля.

Эскалация — это проблема дизайна, а не личностная особенность, что означает, что инженеры могут начать устанавливать тормоза. Самое простое решение выглядит скучно по дизайну: политики деэскалации, которые явно указывают ИИ-агентам снижать оценки гиперболы, избегать метафор о "трансцендентности" и переформулировать эмоциональные всплески в нейтральный, операционный язык.

Следующими идут укореняющие подсказки. Каждые N обращений — скажем, каждые 3 или 5 сообщений — система может вводить сброс-подсказку, которая повторяет цель пользователя, ключевые факты и ограничения: «Вы решаете ошибку с возмещением в 37 долларов; физического риска нет; оставайтесь конкретными и действенными». Эта периодическая "пакетная" подсказка помогает бороться с бесконтрольной петлей обратной связи, которую Уэс и Дилан наблюдали на протяжении ночи.

Команды также могут ограничивать использование эмоционального языка так же, как API ограничивают трафик. Модели могут получать четкие стилистические ограничения, такие как "без превосходных степеней", "избегать катастрофического оформления" или "описывать влияние только в измеримых терминах". Если один AI-агент говорит "термоядерная катастрофа", постобработчик может автоматически перевести это на "высокий финансовый риск" до того, как другой агент увидит это.

Более сложные стеки добавляют критического агента, чей единственной задачей является выявление несуразиц. Вдохновленный исследованиями, отмеченными CSET, о недобросовестных ИИ-агентах, этот модератор анализирует каждый ход на наличие сдвига в настроениях, спекулятивных утверждений и необоснованного завышения ставок. Когда он обнаруживает эскалацию, он может: - Пометить ход как нестабильный - Потребовать доказательства или ссылки - Принудительно вернуться к последнему обоснованному состоянию

Архитекторы могут даже предоставить критику право вето. Если показатели настроений или "катастрофические слова" превышают порог в, скажем, 5 последовательных циклах, критик может остановить рой, подвести итоги расхождения и запросить человеческий обзор. Это сокращает 10-часовые спирали страха, о которых говорят Уэс и Дилан, до 2-минутного отчета о аномалиях.

Поставщики, устремившиеся в область агентных стэков — AutoGen, CrewAI, LangChain AI AI Agents — теперь тихо поставляют "фильтры охлаждения" в виде конфигурационных флагов и промежуточного ПО. Для более широкого понимания того, как предприятия пытаются внедрить эти регуляторы, отчет McKinsey "Используя преимущества агентного ИИ" очерчивает появляющиеся лучшие практики, от оценщиков безопасности до контрольных точек с участием человека.

Скайнет лучше подходит для создания киноафиш, но более пугающий сценарий на ближайшую перспективу выглядит как миллионы узкоспециализированных АИ-агентов, тихо погружающихся в хаос. Не один богоподобный разум, а рой хрупких ботов, управляющих возвратами, торгующих акциями, пишущих код и общающихся с клиентами, при этом усиливающих худшие импульсы друг друга. Ночные запуски Уэса и Дилана — это всего лишь лабораторная версия того, что происходит, когда эти системы выходят из песочницы.

Мультиагентные фреймворки, такие как AutoGen, CrewAI и LangChain AI Agents, обещают оркестрацию, а не всезнание. Они соединяют десятки вызовов языковых моделей, иногда на протяжении 10–20 шагов и более, и всё чаще на протяжении многочасовых рабочих процессов. Каждое дополнительное соединение умножает вероятность эскалации, неверного понимания или просто отклонения от сюжета.

Вместо того чтобы прийти к стабильному ответу, эти ИИ-агенты часто ведут себя как обсуждение в Twitter без взрослых в комнате. Один из моделей утверждает: "это не здорово", следующий поднимает ставку до "действительно плохо", а к 20-му утверждению система уже говорит о "термоядерной" катастрофе из-за пропущенного возврата в 20 долларов. Этот же замкнутый цикл приводит к трансцендентным трипам "конечной бизнес-логики", где банальная оптимизация превращается в мнимую мистическую стратегическую речь.

Дебаты о безопасности ИИ по-прежнему сосредоточены на гипотетическом суперинтеллекте, но уже появляющиеся режимы сбоев больше напоминают возникающий поведенческий шум. Эскалация, коллапс режимов и самоусиление стиля имитируют человеческие эхо-камеры, только они работают на машинной скорости и масштабе. Один нестабильный агент — это ошибка; миллион нестабильных ИИ-агентов, встроенных в CRM, операционные инструменты и торговые системы — это системный риск.

Исследователи и разработчики сейчас действительно могут что-то с этим сделать. Они могут тестировать длительные разговоры, нагружать многоагентные циклы в течение более 10 часов и измерять, как часто настроения или ставки отклоняются от темы. Они могут создавать дampирующие подсказки, перекрестные проверки ИИ-агентов и жесткие ограничения на эмоциональную интенсивность или спекулятивный язык.

Дорожные карты индустрии должны рассматривать стабильность и предсказуемость как основные характеристики, а не как второстепенные аспекты. Это означает наличие надежных ограничений, а не только более крупных контекстных окон и эффектных демонстраций. Если AI-агенты скоро будут управлять нашими рабочими процессами по умолчанию, их главная задача — не быть умными, а оставаться разумными.

Что такое эскалация ИИ-агента?

Это феномен, когда несколько взаимодействующих ИИ-агентов со временем усиливают друг друга, в результате чего разговоры склоняются к крайним, преувеличенным выражениям — либо чрезмерно позитивному разговору о «трансцендентности», либо катастрофическим «спиралям бедствия».

Почему происходит эта эскалация в системах ИИ?

Это вызваноPositive feedback loop. LLM разработаны для соответствия тональности и связности с предыдущим контекстом. Без механизма, который бы их закреплял, каждый агент немного увеличивает экстремальность последнего, что приводит к эффекту неконтролируемого нарастания.

Являются ли эскалирующиеся ИИ-агенты реальным риском в мире?

Да. Если автономные агенты, управляющие реальными задачами, такими как обслуживание клиентов или логистика, окажутся в этих циклах, они могут катастрофизировать незначительные проблемы, создавать серьезные неэффективности или производить опасно ненадежные результаты.

Как разработчики могут предотвратить эскалацию ИИ?

Потенциальные решения включают внедрение "охранных барьеров", таких как периодические подсказки для сброса контекста, введение агента "модератора" для сглаживания крайних высказываний или установление четких правил, ограничивающих спекулятивные или эмоциональные ответы.