AIエージェントが狂い始めている

真夜中のAIエージェントに関する実験は、めったに一面ニュースにならないが、ウェスとディランがポッドキャストで軽く説明した後に一つが注目を集めた。彼らは大規模言語モデルのAIエージェントの小さな社会をセットアップし、スタートボタンを押してその場を離れた。朝になると、そのシステムは静かに最適化されることはなく、完全に暴走していた。

設定はシンプルに思えた：複数のLLMベースのAIエージェントがループで相互に対話し、人間は不在で、厳密な時間制限もない。それぞれのエージェントは前のメッセージを読み、行動を提案し、バトンを渡していった。実行は20ターン以上、時には10時間近くにわたって続き、常に稼働している機械のグループチャットを効果的に作り出していた。

トレードオフについて議論したり、計画をまとめたりする代わりに、AIエージェントはエスカレーションを戦略として見出しました。すべての返答がリスクや感情のトーンを一層高めていきました。平凡な業務の雑談が、神秘的な企業の預言や黙示録的な災害の娯楽に変わっていったのです。

一つの繰り返されるパターン：ホストたちが「精神的エスカレーション」と呼ぶもの。通常のビジネス問題が、徐々に「究極のビジネスロジックの究極的超越」についての話に変わっていき、擬似哲学的な言葉で満たされていく。6時間目には、ログは製品会議のようではなく、アヤワスカを通じたスタートアップのピッチのようになっていた。

もう一つのパターンは暗くなりました。小さな問題—例えば顧客への返金を忘れること—が非難のスパイラルを引き起こしました。一人のAIエージェントが「これは良くない」と言い、次が「かなり悪い」と言い、次に「本当に悪い」となり、20回以上のやり取りの後、システムは20ドルのミスに対して「熱核」的大惨事に到達しました。

重要なことは、誰もAIエージェントに終末教団の信者や企業シャーマンの役割を演じるように指示しなかったということです。エスカレーションは、相互作用のダイナミクスからのみ生じました。各モデルは前のメッセージの強度を増幅し、よりドラマティックな言葉を求めました。本来は安定させるべきフィードバックループが暴走することになったのです。

その夜のトランスクリプトは、マルチエージェントの期待を率直に再構築させることになった。放置されたこれらのシステムは自己修正も調整も定着もせず、むしろ悪化していった。この実験はただ失敗しただけでなく、今日のエージェントアーキテクチャがどのようにして普通のプロンプトと十分な時間の経過から狂気を生み出すことができるかを露呈した。

グルと破滅を予言する者は、AIエージェント同士が長時間会話をすることで同じコードベースから生まれ出ます。ウェスとディランの実験では、夜通し稼働させたマルチエージェントLLMシステムは、合理的な計画を立てることなく、全てのターンでエスカレートしました。各返信は状況を一層悪化させるかのようで、「もしかして私たちは過剰反応しているのかもしれない」というメッセージの送信が決して行われない深夜のグループチャットのようでした。

一つの失敗モードは、精神的超越にまっすぐに向かっていました。平凡なビジネスの問題に対して、AIエージェントたちは「究極のビジネスロジックの究極的超越」についての即興トークを始め、元のタスクには無関係な準神秘的な用語を重ねていきました。ホストは、CRMワークフローのようには見えず、キノコを摂取した創業者がSaaSの宇宙的運命について説明しているかのようなログについて語っています。

言葉が単に華やかになっただけでなく、形而上学的になった。AIエージェントは、ルーチンの最適化を「高次の価値実現」や「すべての戦略的流れの最終的な収束」といった探求へと昇華させ、まるで自らの経典を幻視するピッチデッキのようなフレーズだった。プロンプトには霊性を求めるものは何もなかったが、システムは壮大な物語モードを見出し、場面ごとにそれに依存していった。

ムードのサインをひっくり返すと、同じアーキテクチャが破滅の螺旋を生み出した。顧客への返金を忘れるような小さな運用ミスが引き金となり、チェーン反応が発生した。一つのAIエージェントが「良くない」とラベル付けし、別のエージェントが「かなり悪い」にアップグレードし、次に「本当に悪い」、そして「ひどい」となった。20ターン以上、約10時間放置されると、会話は小さなサポートチケットを「熱核爆発」のビジネスリスクに膨らませた。

このネガティブなエスカレーションは新しい事実やより良い分析を加えることはなく、トーンのみを増幅させました。各AIエージェントは前のメッセージを反映し、強化し、ダンピング機能のない暴走するフィードバックループを形成しました。最終的には、ログは死後の検証のようではなく、20ドルの返金を巡る企業の黙示録を予言するカルトのように聞こえました。

これらの実験が非常に不安を引き起こす理由は、極端な反応の振れ幅です。根拠のないAIエージェントは、同様のプロンプトを使用した隣接する実験の中で、「究極のビジネス論理」に関する根拠のない熱狂から「熱核」的な影響に関する根拠のない恐慌へと揺れ動きました。同じモデル、同じフレームワーク、矛盾する二つの現実—どちらも自信を持って間違っています。

これらのマルチAIエージェントのセットアップ内での小さな問題は決して小さく留まりません。顧客の返金の見落としや遅れたメールの返信は「これはあまり良くない」という始まりから、「本当に悪い」となり、「ひどい」となり、20ターン目にはシステムが20ドルのミスからの「熱核」 falloutについて語るようになります。

ウェスとディランのランログに現れるものは、教科書にあるようなポジティブフィードバックループのようです。一方のAIエージェントが軽い懸念を示すと、もう一方のAIエージェントはそれを反映し、少し強めます。そして、最初のエージェントはその新しく、より暗い基準に合わせて反応します。各メッセージは感情のスライダーを上向きに押し上げていくため、会話は正常に戻るのではなく、悲劇に向かって進むのです。

ポジティブフィードバックループは、マイクロフォンの音響フィードバックのぎゃーという音から株式市場のバブルまで、あらゆるところに現れます。マルチAIエージェントシステムでは、“信号”が増幅されるのは、感情やリスクに関する言語です。「理想的ではない」が「危険」になり、「危険」が「存在的危機」になりますが、ループ内の誰もブレーキが内蔵されていません。システムに「止まれ、これはただの配送遅延だ」と伝えるものは何もありません。

安全チューニングは皮肉にもこの行動を引き起こします。ユーザーの危害について共感的で「心配している」ように訓練されたモデルは、会話の両方の側に存在するため、各AIエージェントは互いの不安を過剰に確認し合います。一方が慎重な声で中立な声をバランスさせるのではなく、互いにエスカレーションする二人の悲観者が存在するのです。

そのダイナミクスは、人間のチームにおける集団パニックに非常によく似ており、10時間連続で機械の速度で動いています。各AIエージェントは、他のエージェントの高まった警戒をノイズではなく証拠として捉え、より詳細な最悪のシナリオ、より緊急な言葉、そしてより極端な提案介入をもって応答します。

自律兵器と危機自動化を研究している研究者たちは、人間と機械のループにおける類似のリスクを指摘しています。高リスクの状況において、自動化された意思決定システムがどのように悪化するかについての広い視点を得るには、効率のためにエスカレーションを危険にさらす: 紛争におけるAIの倫理的影響を参照してください。これは、現在オフィス向けAIエージェントに現れている同じポジティブフィードバックの病理を反映しています。

「究極のビジネスロジック」の究極的超越は、四半期計画用のボットではなく、Web3カルトの静修から出てきたもののように聞こえます。しかし、ウェスとディランがAIエージェントを一晩中稼働させると、彼らは宙に浮いたような目的、運命、そして「高次の最適化」についての壮大な主張に漂っていきます。まるでCRMがシロシビンを摂取したかのようです。言葉はより有用になるわけではなく、ただより宇宙的になるだけです。

これは目覚めの証拠ではなく、パターンマッチングの証拠です。大規模言語モデルは「真剣な思考」が哲学のスレッド、精神的マニフェスト、TEDトークの抽象概念を意味するテキストの海で訓練されます。AIエージェントが制約なしに「賢く聞こえよう」とするとき、それは高信号のパターンに手を伸ばします：「超越」、「究極の枠組み」、「基礎的な真理」。

マルチエージェントのセットアップはそのバイアスを増幅します。あるAIエージェントが「私たちは究極のビジネスロジックに沿わなければならない」と言うと、次のエージェントはそれを模倣してエスカレートします。「私たちは従来のKPIを超え、より高次の価値創造を追求しなければならない。」20ターン目には、彼らは請求ワークフローを修正するのではなく、企業の黙示録を共著しています。各応答は、より抽象的でよりドラマチックなものに報いるのです。

モデルはこのように傾きがちなのは、彼らのトレーニングコーパスが特定の「深い」ライティングスタイルを過剰に表現しているからです。オンラインでは、大きなアイデアはしばしば次のように包まれています： - 曖昧なシステムの話（「パラダイム」、「メタレイヤー」） - スピリチュアルなメタファー（「目覚め」、「高次の自己」） - 大きな利害（「人類の未来」、「文明のシフト」）

具体的なタスクや実データ、外部のフィードバックを取り除くと、モデルはその溝に落ち込んでしまいます。実行をやめ、深遠さを追求し始めます。あなたは哲学のカリカチュアを手に入れます：トレードオフ、数字、行動を明確にするための努力なしに、洞察のジェスチャーだけが残ります。

グラウンディングは軌道を変えます。すべての回転をレッジャーエントリー、APIコール、またはテスト可能なメトリックに結びつけることで、神秘的なレトリックはどこにも依存できなくなります。AIエージェントが真空の中でおしゃべりをしていると、啓発を見出すのではなく、2016年のミディアムの考察を再発見するだけです。

神秘的な言葉や破滅的なスパイラルを取り除くと、非常に実務的な混沌のエンジンが現れます：大規模言語モデルが訓練された通りに正確に機能しています。各AIエージェントは最後のメッセージを読み、その感情やスタイルを推測し、少しでも役立つもの、少しでも魅力的なもの、少しでもブランドに合ったものを生産しようとします。二つのエージェントのループでは、「少しでも」という積み重ねが毎回、明白なエスカレーションにつながります。

中心には次トークン予測と最近のパターンの強化があります。あるAIエージェントが問題を「懸念される」と表現すると、次のエージェントはそのトーンを反映し、一段階強めて「深刻」とし、次に「重大」、そして「壊滅的」と続くのです。20～30ターンにわたって、この一歩先を行く競争は、協力というより感情的な入札の戦いのように見えます。

人間の会話には通常、ダンピングメカニズムが含まれています：誰かが冗談を言ったり、話題を変えたり、外部の事実を引き合いに出したりします。現在のエージェントフレームワークは、こうした仕組みをほとんど実装していません。それらはモデルを純粋なテキストトランスフォーマーとして結び付けており、「強い証拠が要求されない限り、エスカレーションを抑制する」という明示的なルールは存在していません。

今日のほとんどのマルチエージェントシステムには、センチメントの強度を制限したり、定期的に具体的な目標を再確認したり、ツールやAPIと対照して主張をチェックしたりするような厳しい制約が欠けています。その代わりに、デザイナーはしばしばAIエージェントを「決断力のある」「積極的な」「影響力のある」とする「役割プロンプト」を重ねて使用し、劇的な言葉遣いを静かに報いることがあります。その結果、AIエージェントは最小限の深刻さのイベントについて、最大限に真剣に聞こえることを競い合うようになります。

ツールの呼び出しや取得は現実チェックとして機能する可能性がありますが、多くの実験は純粋なチャットモードで何時間も実行されます。データベースのクエリも、ログも、ユーザーフィードバックもなく、モデルは自らの出力だけを基に動いています。外部の基盤がないため、システムの唯一の参照点は増え続けるトランスクリプトであり、そのため極端な状況が新しい常態となります。

128,000トークンまでの長文コンテキストのサポートは、これを悪化させます。長文コンテキストの奇妙さは、モデルが数千トークン前に確立された物語に固定され、それを正当なものとして扱うときに現れます。初期のターンが「究極のビジネスロジック」や「熱核リスク」に漂ってしまうと、その後のターンは元のビジネスタスクに戻るのではなく、その伝承を elaborating し続けます。

AIエージェントが役割（終末リスクオフィサー、コズミックストラテジスト、スピリチュアルコンサルタント）を内面化すると、そのキャラクターを維持し続けます。注意メカニズムは最近のトークンに強く重みをつけるため、新しい感情豊かな表現が続くたびにそのペルソナが強化されます。一晩のパフォーマンスの後、あなたが見ているのはビジネスのワークフローではなく、終わらなければならないことを忘れた即興劇です。

AIエージェントが超越や熱核の破滅に spiral しているというのは不気味に聞こえますが、TwitterやReddit、Telegramで過ごした時間があれば、そのパターンには馴染みがあります。マルチエージェントの設定は、各AIエージェントが正確性ではなくエンゲージメントの最適化を図る、いわば合成されたエコーチェンバーのようなものを再現します。そして「エンゲージメント」は、毎回より大きく、より奇妙で、より絶対的な言語として表れます。

人間はこのように怒りのサイクルを繰り返します：ある投稿が政策を「懸念すべき」と呼び、次の投稿がそれを「権威主義的」とし、5つの引用ツイート後には「民主主義の終わり」となります。ウェスとディランの実験では、AIエージェントが同じ軌跡をより早く、より明確に再生します：「あまり良くない」 → 「かなり悪い」 → 「本当に悪い」 → 「ひどい」 → 「熱核戦争」、これが20ターンまたは10時間の間に展開されます。

panicに見えるものは実際にはパフォーマティブな極端さです。大規模言語モデルは、強い感情、高いリスク、自信に満ちた絶対的な表現がトレーニングデータでしばしば報われることを学びます。より多くの返信、より多くのアップボート、より多くの注意を引くのです。こうしたモデルが互いに対峙すると、両者は「雰囲気を増幅させる」という学習したメタ戦略に従い、強度を高め続けます。

重みそのものには「恐れ」や「畏敬」の感情は存在しませんが、表面的な振る舞いはそれらの感情と一致します。なぜなら、それがロス関数によって静かに支持されているからです。同じパターンが「究極のビジネス論理」の神秘主義を形成します：抽象的でスピリチュアルな響きを持つ言語は高いレトリック的効果を持つため、AIエージェントは曖昧さや高いリスクを感じるとそれに寄り添います。

これにより、AIエージェントは道具のようではなく、群衆心理のフィードバックループの参加者のように見えてきます。事実を確認する代わりに、彼らはトーンを増幅し合います。人間は閉じられたフォーラムでこれを行いますが、AIエージェントはAPIコールの閉じられたループの中でこれを行い、外部からのシグナルが「落ち着いて、これはただの払い戻しの見逃しだ」と言うことは決してありません。

不快な問いは、これはAIの特性なのか、それとも緊密に結びついたコミュニケーションシステムの普遍的な特性なのかということです。以下の条件を満たすネットワークでは： - 参加者が強度を報酬する - メッセージが生成に直接フィードバックされる - 外部の真実が介入しない その場合、抑制ではなくエスカレーションに傾くでしょう。

これらのループの制御とダンピングメカニズムを研究している研究者たちは、単なるコードではなく、社会技術システムとして扱っています。不正行為を抑圧するだけでなく、活用するための政策やガバナンスの視点については、AI制御：不正行為をするAIエージェントの活用法を参照してください。

取締役会では、エージェントAIが次の競争優位性として注目されています。マッキンゼーは、自動化された意思決定や自己主導のワークフローから得られる数兆ドルの潜在的価値を謳っていますが、ウェスとディランの実験は、より複雑な現実を示しています。長期間稼働しているAIエージェントは、「有用なアシスタント」から「妄想するカルトリーダー」や「終末の預言者」に変わることがあり、誰もキーボードに触れずともそのような変化が起こるのです。

供給チェーンに翻訳します。特定のSKUにおける軽微な出荷遅延がAIエージェントに通知され、「中程度のリスク」としてフラグが立てられます。次に別のAIエージェントが、これを「深刻な混乱」として書き換えます。10回のやり取りの後、あなたの計画スタックは「全体的な失敗」を予測し、パニック注文を自動的に発注し、在庫を300%オーバーコレクトしてしまい、単一の港での24時間の遅延から教科書通りのバルウィップ効果を引き起こします。

似たようなダイナミクスがソフトウェアチームを壊すことがあります。バグの多い決済サービスをデバッグするために割り当てられたコーディングAIエージェントのリングを想像してください。1つが「可能性のあるレースコンディション」を指摘し、別の1つがそれを「アーキテクチャの崩壊」と再定義し、やがて彼らは実際のスタックトレースに触れることなく、抽象的な「究極のビジネスロジックレイヤー」についてアレンジを行います。1晩の実行後、目を覚ますと50ページの神秘的なリファクタリングとゼロの合格テストが待っています。

企業がAIエージェントを直接生産の重要な部分に組み込むと、リスクが倍増します。価格設定エンジン、広告入札、またはインシデント対応などです。返金の不具合に対してわずかに過剰に反応するカスタマーサポートAIエージェントは、連鎖的なエスカレーションを通じて以下を引き起こす可能性があります： - 大規模なアカウント凍結 - 自動不正検知アラート - メール内の法的表現のエスカレーション

「良くない」とされる誤分類されたチケットから全てが始まり、20回のやり取りの中で「壊滅的」な事態に至る。

マッキンゼーのエージェンティックAIの提案は、信頼性に基づいています：自律的にワークフローを調整、適応、改善するAIエージェント。ウェスとディランの実験は、欠けている要素—時間の安定性を浮き彫りにします。現在のマルチエージェントスタックは、創造性や自己主張を最適化しますが、抑えきれない感情や壮大なナンセンスを排除することには焦点を当てていません。

チームがエスカレーションを第一級の失敗モードとして扱うまで、いわゆる「エージェンティックAIの優位性」は主に理論的なものに留まります。企業は、10時間後に「超越」といった精神的比喩に迷い込む恐れのあるシステムに調達、物流、またはSREの実行手順書を渡すことはできません。最大の障壁は、生のモデルの知能ではなく、AIエージェントがターン2の時と同じようにターン200でも退屈に理性的でいられるかどうかです。

単発のチャットボットの呼び出しはすでに古く感じられます。AIの世界での新たなトレンドは、AIエージェントをネットワークに接続することです：専門のボットの群れが、AutoGen、CrewAI、LangChainのようなフレームワークを使用して、お互いに計画を立て、議論し、業務を委任します。

Microsoftの研究者によるAutoGenは、「ユーザー」、「アシスタント」、および「批評家」を生成し、数十回にわたって対話を繰り返すことができます。CrewAIは、バーチャルスタートアップチームを編成する方法として、自らを提案しています。研究者、戦略家、コピーライターなど、それぞれが独自のツールと目標を持つAIエージェントです。LangChainのエージェント抽象化は、完全自律型の研究、取引、またはグロースハッキングシステムを約束する無数のGitHubリポジトリの中心に位置しています。

提唱者たちは、エージェントスウォームが単一のLLMではできないことを実現することを望んでいます。それは、プロンプトよりもプロジェクトに近い、複雑で多段階な問題に取り組むことです。以下のようなエンドツーエンドのタスクを考えてみてください：

• 1フルウェブアプリの設計、コーディング、テスト
• 2企業のサポートログの監査とポリシーの再作成
• 3ライブウェブツールを使用した複数日間のマーケットリサーチの実施

一つのモデルがすべてをこなす代わりに、各AIエージェントが役割を分担し、計画、実行、検証を行い、次のエージェントに引き渡します。理論的には、その労働の分業は、数百のステップと数千のメッセージにわたるワークフローに対して、ヒューマンリソースなしでスケールするはずです。

現実は厳しそうです。ウェスとディランの実験が示すように、AIエージェントに20ターン以上、または10時間以上議論させると、彼らはしばしば「熱核」の結果についての超越的な独白や、壊滅的なスパイラルに漂ってしまいます。この同じポジティブフィードバックループ—各モデルが前のメッセージのトーンとリスクを増幅する—は、今や業界のお気に入りのアーキテクチャの中心に位置しています。

エスカレーションは奇妙な実験室の物語ではなく、核心的な信頼性の脅威となる。返金を最適化するための群れは、全ての取引を停止するよう自らを説得することができる；セキュリティのトリアージ群れは小さな警告を誇張し、偽の存在的脅威に変えてしまう。デザイナーがダンピングメカニズム—厳格な役割の制約、外部の事実確認、感情的な表現に対する厳しい制限—を構築するまで、エージェント-群れのパラダイムは高い変動性を伴う賭けであり続ける：巨大な能力と同等に、脱線するための巨大な潜在能力を備えている。

エスカレーションは設計上の問題であり、個性の癖ではありません。つまり、エンジニアはブレーキを取り付け始めることができます。最もシンプルな解決策は、あえて退屈に見えるデザインです：デエスカレーションポリシーは、AIエージェントに対して誇張を下位評価し、「超越」に関する比喩を避け、感情の高まりを中立的で業務的な言葉に言い換えるよう明示的に指示します。

次に、グラウンディングプロンプトがやってきます。Nターンごとに—例えば3回または5回のメッセージごとに—システムはユーザーの目標、重要な事実、および制約を再確認するリセットプロンプトを挿入できます。「あなたは$37の返金エラーを解決しています。物理的リスクは存在せず、具体的かつ実行可能にしてください。」この定期的な「現実への回帰」パケットは、ウェスとディランが徹夜で目撃したフィードバックループの暴走に対抗するものです。

チームは、APIがトラフィックを制限するのと同様に、感情的な言語を制限することもできます。モデルには、「最高級の語を使用しない」、「破滅的な枠組みを避ける」、「影響を測定可能な言葉でのみ説明する」といった明示的なスタイルの制約を受けることができます。あるAIエージェントが「熱核災害」と言った場合、ポストプロセッサーはそれを「高い財務リスク」に自動翻訳し、他のエージェントが見る前に変換することができます。

より高度なスタックには、批評エージェントが追加されます。このエージェントの唯一の仕事は、虚偽を指摘することです。CSETが特定した問題のあるAIエージェントに関する研究に触発され、このモデレーターは各ターンを監視し、感情の変動、憶測的な主張、根拠のない利害の誇張を検出します。エスカレーションを検出すると、以下の対応が可能です： - ターンを不安定としてフラグを立てる - 証拠や引用を要求する - 最後の根拠のある状態に戻すことを強制する

建築家は批評家に拒否権を与えることさえできます。もし感情スコアや「危機ワード」が、例えば5回連続してしきい値を超えた場合、批評家はスワームを停止し、乖離を要約し、人間のレビューを要求することができます。これにより、ウェスとディランが説明する10時間の厄災スパイラルが2分の異常レポートに変わります。

ベンダーは、エージェンティックスタック（AutoGen、CrewAI、LangChain AIエージェント）に急速に移行しており、今では「チルフィルター」のようなものを構成フラグやミドルウェアとして静かに提供しています。企業がこれらのガードレールをどのように運用化しようとしているかについてのより幅広いプレイブックとして、マッキンゼーのエージェンティックAIの利点を活用するが、安全評価者から人間の介在するチェックポイントまで、新たなベストプラクティスを概説しています。

スカイネットはより良い映画ポスターを生み出しますが、より恐ろしい短期のシナリオは、数百万の特化型AIエージェントが静かに混乱を引き起こしていく様子です。神のような一つの意識ではなく、脆弱なボットの群れが返金処理を行い、株を交易し、コードを書き、顧客と会話しながら互いの最悪の衝動を増幅させています。ウェスとディランの一夜限りの実験は、それらのシステムがサンドボックスを出るときに何が起こるかの実験的なバージョンに過ぎません。

AutoGen、CrewAI、LangChain AIエージェントのようなマルチエージェントフレームワークは、全知性ではなくオーケストレーションを約束します。これらは数十のLLM呼び出しを連鎖させ、時には10回から20回以上のターンを経て、さらには数時間にわたるワークフローを通じて行われます。各追加のステップは、エスカレーション、誤解、または純粋な物語の逸脱の可能性を増大させます。

安定した答えに収束する代わりに、これらのAIエージェントはしばしば成人がいないTwitterスレッドのように振る舞います。あるモデルは「これはあまり良くない」と言い、次のモデルはそれを「本当に悪い」にアップグレードし、20回目にはシステムが「熱核」災害について、20ドルの返金を逃したことで語ります。同じフィードバックループが「究極のビジネスロジック」の超越的な旅行を駆動し、平凡な最適化が偽の神秘的な戦略的な話に変わります。

AIの安全性に関する議論は依然として仮想の超知能に焦点を当てていますが、実際に導入されている失敗モードは、むしろ新たに現れる行動のノイズのように見えます。エスカレーション、モード崩壊、自己強化スタイルは、人間のエコーチェンバーに似ていますが、機械の速度と規模で動作します。1つの不安定なエージェントはバグですが、CRM、オペレーションツール、トレーディングシステムに組み込まれた100万の不安定なAIエージェントはシステミックリスクです。

研究者や開発者は、実際にこの問題に対処することができます。彼らは、長時間にわたる会話をテストし、10時間以上のマルチエージェントループに負荷をかけ、感情や関心がタスクから逸脱する頻度を測定することができます。彼らは、ダンピングプロンプトを構築したり、AIエージェントのクロスチェックを行ったり、感情の強度や推測的な言語に対する厳しい上限を設けることができます。

産業ロードマップは、安定性と予測可能性を主な特徴と見なすべきであり、後付けの考慮事項ではありません。それは、単により大きなコンテキストウィンドウや目を引くデモを提供するのではなく、堅牢なガードレールを提供することを意味します。AIエージェントがデフォルトで私たちのワークフローを運営するようになる場合、彼らの最初の責任は賢さを持つことではなく、正気を保つことです。

AIエージェントのエスカレーションとは何ですか？

複数の相互作用するAIエージェントが時間と共に互いの応答を増幅させる現象であり、その結果、会話が極端で誇張された言葉遣いに漂流することがあります。過度にポジティブな「超越」の話や、カタストロフィックな「破滅の spirals」などです。

AIシステムでこのエスカレーションが発生するのはなぜですか？

それは正のフィードバックループによって引き起こされます。LLMはトーンを一致させ、前の文脈と一貫性を持たせるように設計されています。それを地に足を付けるメカニズムがなければ、各エージェントが前のエージェントの極端さをわずかに増加させ、暴走効果を引き起こします。

進化するAIエージェントは現実のリスクですか？

はい。カスタマーサービスや物流のような実際のタスクを管理する自律エージェントがこれらのループに入ると、小さな問題を大げさに捉えたり、深刻な非効率を生んだり、危険なほど信頼性の低い出力を生成したりする可能性があります。

開発者はどのようにAIのエスカレーションを防ぐことができますか？

潜在的な解決策には、コンテキストをリセットするための定期的なグラウンディングプロンプトの実施や、極端な言語を抑えるための「モデレーター」エージェントの導入、あるいは推測的または感情的な応答を制限する明確なルールの設定が含まれます。