Votre modèle n'est peut-être pas ce qui fait défaut
La fiabilité d'un agent ne dépend pas seulement de son large language model sous-jacent, mais surtout de son harness : l'architecture environnante de règles, d'outils, de flux de travail, de mémoire et de garde-fous. Se concentrer uniquement sur les capacités du modèle néglige souvent le cadre opérationnel qui dicte réellement la performance et prévient les erreurs en production.
Un changement significatif est en cours dans la manière dont nous construisons ces harnesses. L'« ancienne méthode » impliquait de coder manuellement une logique d'orchestration complexe en Python ou TypeScript. Aujourd'hui, une grande partie du comportement d'un agent est définie et gérée de manière déclarative à l'aide de fichiers Markdown flexibles et modifiables pour les instructions, les compétences et la configuration. Cela fait écho aux systèmes robustes et auto-améliorés observés dans les agents de codage IA avancés.
Cette approche déclarative fait du harness engineering un cycle pratique et itératif. Au lieu d'espérer qu'un modèle plus puissant compensera les failles systémiques, les développeurs inspectent les échecs des agents dans les traces de production, identifient les instructions manquantes ou les processus défaillants, puis améliorent directement le harness. Cela signifie mettre à jour un fichier d'instructions Markdown ou affiner une définition de compétence, plutôt que de réécrire le code de base.
Cette méthode établit également un parallèle direct entre les composants des agents de codage et les agents commerciaux de production. Les règles et les fichiers d'instructions correspondent aux system prompts, les sous-agents deviennent des orchestrations multi-agents, et les compétences fonctionnent comme des procédures opérationnelles standard structurées. Ce mappage 1:1 rationalise le développement et l'amélioration continue d'agents IA robustes et adaptables.
Le playbook des agents de codage s'adapte désormais aux bots professionnels
Les plans architecturaux des agents de codage IA fiables informent désormais directement la conception de bots professionnels de qualité production. Ce changement redéfinit la manière dont nous construisons et gérons les systèmes agentiques, en s'éloignant d'une logique rigide et codée en dur vers des configurations flexibles et déclaratives.
Considérez le mappage direct : les fichiers d'instructions, comme INSTRUCTIONS.md, deviennent des règles système qui définissent le contexte global et la personnalité d'un agent. Les sous-agents, précédemment utilisés pour la décomposition des tâches dans le codage, représentent désormais des flux de travail délégués dans l'orchestration multi-agents.
De manière cruciale, les MCP tools (Model Context Protocol) fournissent des points d'intégration standardisés pour les bases de données et API externes, tandis que les skills — définies comme des recettes markdown — remplacent les fonctions complexes par des directives procédurantes structurées étape par étape. Enfin, les hooks appliquent des guardrails, agissant comme des intercepteurs de politique pour les vérifications pré- et post-exécution, assurant un contrôle déterministe.
Cette approche déclarative, tirant parti des fichiers markdown et YAML, rend les flux de travail intrinsèquement plus faciles à inspecter et à réviser. Les agents peuvent même auto-modifier ces configurations en fonction des retours d'exécution, un principe fondamental du harness engineering. Le code gère toujours la plomberie essentielle et les contrôles déterministes, mais la logique de haut niveau réside dans une configuration lisible par les humains et l'IA.
Bien que la vidéo de Cole Medin utilise les Managed Deep Agents de LangChain comme exemple d'implémentation, cette architecture sous-jacente est universelle. Les mêmes principes d'externalisation des règles, des compétences et des garde-fous peuvent être appliqués avec d'autres plateformes de déploiement et d'orchestration, soulignant l'importance stratégique du modèle de conception par rapport à tout outil spécifique.
Deux boucles transforment les erreurs en mémoire opérationnelle
Les erreurs ne sont pas des échecs, mais des points de données. Le système agentique capture ces points de données via deux boucles de rétroaction distinctes, transformant les erreurs d'exécution en mémoire opérationnelle.
Premièrement, la runtime memory loop traite les incertitudes immédiates. Lorsqu'un agent rencontre une situation nouvelle ou ambiguë, il peut proposer une réponse prudente et provisoire, puis transmettre le cas à un humain pour examen. L'humain confirme ou corrige la réponse, et cette correction est immédiatement réécrite dans la mémoire de l'agent.
Cette correction devient une leçon récupérable, stockée dans un hub de contexte. Cette mémoire peut être limitée à un utilisateur individuel, garantissant un apprentissage personnalisé, ou partagée entre les cas pertinents pour une amélioration plus large du système. L'agent apprend non seulement quoi faire, mais comment adapter ses règles internes et ses flux de travail.
Considérez un agent de support pour Archon. Un utilisateur a signalé une correction locale manquante, mais l'agent, se référant à un worktree origin/main, n'a pas pu la trouver. Après une correction humaine, l'agent a enregistré le contexte spécifique — la branche de l'utilisateur et l'emplacement correct de la correction locale. Une requête ultérieure similaire pourrait alors être répondue avec confiance, en puisant directement dans cette mémoire spécifique nouvellement acquise. Pour en savoir plus sur la conception robuste d'agents, consultez Building Effective AI Agents - Anthropic Engineering.
La seconde boucle, la retroactive trace loop, examine l'historique complet des interactions d'un agent, une véritable « mine d'or » de données de performance. Cette boucle identifie des problèmes systémiques plus profonds que la boucle d'exécution pourrait manquer.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Exploitez les traces — mais gardez les humains aux commandes
Une boucle rétroactive plus lente exploite les traces de production à la recherche d'échecs récurrents. Cette « mine d'or » d'informations permet à un agent d'analyser son propre historique opérationnel et de proposer des mises à jour de ses instructions de base, de ses compétences ou de ses garde-fous, allant au-delà des corrections au cas par cas.
Il est crucial de distinguer la mémoire utile d'une correction durable de harness engineering. Les mémoires d'exécution récupèrent des leçons spécifiques à un cas pour une application immédiate, comme la préférence antérieure d'un client. Les mises à jour des flux de travail et des instructions, cependant, empêchent les échecs répétés de manière plus large, en renforçant la logique sous-jacente de l'agent.
La mise en œuvre de ces changements nécessite de la prudence et un humain aux commandes. Inspectez les modifications proposées par l'agent, puis testez-les sur un ensemble diversifié de cas représentatifs. Pour les vérifications importantes, implémentez des deterministic hooks pour faire respecter la politique. Enfin, déployez les mises à jour progressivement et surveillez les traces après le déploiement pour confirmer les correctifs et éviter de nouvelles régressions dans le harness engineering.
Foire aux questions
Qu'est-ce que le harness engineering pour les agents IA ?
Le harness engineering améliore les règles, les flux de travail, les outils, la mémoire et les garde-fous entourant un modèle d'IA afin que son comportement devienne plus fiable.
Comment un agent IA peut-il apprendre des erreurs de production ?
Capturez les interactions incertaines ou échouées, examinez-les avec un humain et transformez les corrections confirmées en mémoires récupérables ou en mises à jour des instructions et des compétences de l'agent.
Un agent IA doit-il réécrire ses propres instructions automatiquement ?
Il peut proposer des changements, mais les modifications importantes doivent être examinées et testées par un humain avant le déploiement.
Quel rôle jouent les traces de production ?
Les traces révèlent où les flux de travail se rompent, où les outils sont mal utilisés et quelles instructions nécessitent une amélioration, ce qui en fait des preuves précieuses pour affiner le harness d'un agent.