AIエージェントに自らのミスを修正させる方法

エージェントの信頼性は、基盤となる大規模言語モデルだけでなく、その「ハーネス（Harness）」、つまりルール、ツール、ワークフロー、メモリ、ガードレールを取り巻くアーキテクチャに大きく依存します。モデルの能力だけに焦点を当てると、パフォーマンスを決定づけ、本番環境でのミスを防ぐための運用フレームワークが見落とされがちです。

こうしたハーネスの構築方法には、大きな転換が起きています。かつての「古いやり方」では、PythonやTypeScriptで複雑なオーケストレーションロジックをハードコーディングしていました。現在では、エージェントの挙動の多くが、指示、スキル、設定を記述した柔軟で編集可能なMarkdownファイルを使用して、宣言的に定義・管理されています。これは、高度なAIコーディングエージェントに見られる、堅牢で自己改善を行うシステムと同様のものです。

この宣言的なアプローチにより、「ハーネスエンジニアリング」は実践的で反復可能なサイクルとなります。より強力なモデルがシステム的な欠陥を補ってくれることを期待するのではなく、開発者は本番環境のトレースからエージェントの失敗を調査し、欠けている指示や不完全なプロセスを特定して、直接ハーネスを改善します。つまり、コアコードを書き直すのではなく、Markdownの指示ファイルを更新したり、スキルの定義を洗練させたりするのです。

この手法は、コーディングエージェントのコンポーネントと、本番環境のビジネスエージェントとの間に直接的な類似性をもたらします。ルールや指示ファイルはシステムプロンプトに対応し、サブエージェントはマルチエージェントオーケストレーションとなり、スキルは構造化された標準作業手順書（SOP）として機能します。この1対1の対応関係が、堅牢で適応性の高いAIエージェントの開発と継続的な改善を効率化します。

信頼性の高いAIコーディングエージェントのアーキテクチャ設計図は、今や本番環境向けのビジネスボット設計に直接応用されています。この転換により、壊れやすくハードコードされたロジックから、柔軟で宣言的な設定へと移行し、エージェントシステムの構築と管理のあり方が再定義されています。

直接的な対応関係を考えてみましょう。INSTRUCTIONS.mdのような指示ファイルは、エージェントのグローバルなコンテキストとペルソナを定義する「システムルール」となります。かつてコーディングにおけるタスク分解に使われていたサブエージェントは、今ではマルチエージェントオーケストレーションにおける委任されたワークフローを表します。

重要な点として、MCP tools (Model Context Protocol) は外部データベースやAPIとの標準化された統合ポイントを提供し、Markdownレシピとして定義された「スキル」は、複雑な関数を構造化されたステップバイステップの手順ガイドに置き換えます。最後に、フックが「ガードレール」を強制し、実行前後のチェックを行うポリシーインターセプターとして機能することで、決定論的な制御を保証します。

MarkdownやYAMLファイルを利用するこの宣言的なアプローチにより、ワークフローの調査や修正が本質的に容易になります。エージェントは実行時のフィードバックに基づいてこれらの設定を自己修正することさえ可能であり、これがハーネスエンジニアリングの核心的な原則です。コードは依然として不可欠な基盤や決定論的な制御を担いますが、高レベルなロジックは人間とAIが読み取れる設定ファイルの中に存在します。

Cole Medin氏の動画では実装例としてLangChainのManaged Deep Agentsが使用されていますが、この根底にあるアーキテクチャは普遍的なものです。ルール、スキル、ガードレールを外部化するという同じ原則は、他のデプロイメントやオーケストレーションプラットフォームにも適用でき、特定のツールよりも設計パターンの戦略的重要性が強調されています。

ミスは失敗ではなく、データポイントです。エージェントシステムは、2つの異なるフィードバックループを通じてこれらのデータポイントを捕捉し、実行時エラーを運用メモリへと変換します。

第一に、runtime memory loop（実行時メモリループ）が即時の不確実性に対処します。エージェントが新規または曖昧な状況に遭遇した際、慎重かつ暫定的な回答を提示し、その後人間によるレビューのためにケースをエスカレーションします。人間が回答を確認または修正すると、その修正内容は即座にエージェントのメモリに書き戻されます。

この修正はコンテキストハブに保存され、検索可能な教訓となります。このメモリは個々のユーザーに合わせてパーソナライズされた学習を保証することも、関連するケース全体で共有してシステム全体の改善に役立てることも可能です。エージェントは「何を」すべきかだけでなく、内部ルールやワークフローを「どのように」適応させるかを学習します。

Archonのサポートエージェントを例に挙げます。ユーザーがローカル修正の欠落を報告しましたが、エージェントはorigin/mainのワークツリーを参照していたため、それを見つけることができませんでした。人間による修正の後、エージェントはその特定のコンテキスト（ユーザーのブランチと正しいローカル修正の場所）を記録しました。その後の関連するクエリに対しては、新しく獲得したこの特定のメモリを直接参照することで、自信を持って回答できるようになりました。堅牢なエージェント設計に関する詳細な読み物については、Building Effective AI Agents - Anthropic Engineeringを参照してください。

第二のループであるretroactive trace loop（遡及的トレースループ）は、エージェントの全対話履歴を精査します。これはパフォーマンスデータが詰まった「金鉱」です。このループは、実行時ループでは見逃してしまうような、より深く体系的な問題を特定します。

より低速な遡及的ループは、本番環境のトレースをマイニングして繰り返される障害を抽出します。この情報の「金鉱」により、エージェントは自身の運用履歴を分析し、単一ケースの修正を超えて、コアとなる指示、スキル、ガードレールの更新を提案できるようになります。

重要なのは、有用なメモリと永続的なharness fix（ハーネス修正）を区別することです。実行時メモリは、顧客の以前の好みのような、ケース固有の教訓を即座に適用するために取得します。一方、ワークフローや指示の更新は、より広範に繰り返される障害を防ぎ、エージェントの基礎となるロジックを強化します。

これらの変更を実装するには慎重さが求められ、人間によるブレーキが必要です。エージェントから提案された編集内容を精査し、多様な代表的ケースに対してテストを行ってください。重要なチェックについては、deterministic hooks（決定論的フック）を実装してポリシーを強制します。最後に、更新を段階的にデプロイし、ロールアウト後にトレースを監視して修正を確認し、harness engineeringにおける新たなリグレッション（回帰）を防ぎます。

AIエージェントにおけるharness engineeringとは何ですか？

harness engineeringとは、AIモデルを取り巻くルール、ワークフロー、ツール、メモリ、ガードレールを改善し、その挙動をより信頼性の高いものにすることです。

AIエージェントは本番環境でのミスからどのように学習できますか？

不確実な対話や失敗した対話を捕捉し、人間と共にレビューを行い、確認された修正内容を検索可能なメモリやエージェントの指示・スキルの更新へと変換します。

AIエージェントは自身の指示を自動的に書き換えるべきですか？

変更を提案することは可能ですが、重要な編集についてはデプロイ前に人間によるレビューとテストを行うべきです。

本番環境のトレースはどのような役割を果たしますか？

トレースは、ワークフローがどこで中断し、ツールがどこで誤用され、どの指示が改善を必要としているかを明らかにします。これらはエージェントのハーネスを洗練させるための貴重な証拠となります。