Vielleicht liegt das Problem nicht an Ihrem Modell
Die Zuverlässigkeit eines Agenten hängt nicht nur von seinem zugrunde liegenden Large Language Model ab, sondern entscheidend von seinem Harness: der umgebenden Architektur aus Regeln, Tools, Workflows, Speicher und Guardrails. Wenn man sich nur auf die Fähigkeiten des Modells konzentriert, übersieht man oft den operativen Rahmen, der die Leistung wirklich bestimmt und Fehler in der Produktion verhindert.
Ein bedeutender Wandel findet bei der Konstruktion dieser Harnesses statt. Der „alte Weg“ beinhaltete das manuelle Programmieren komplexer Orchestrierungslogik in Python oder TypeScript. Heute wird ein Großteil des Verhaltens eines Agenten deklarativ definiert und verwaltet, indem flexible, editierbare Markdown-Dateien für Anweisungen, Skills und Konfigurationen verwendet werden. Dies entspricht den robusten, sich selbst verbessernden Systemen, die man bei fortschrittlichen AI Coding Agents sieht.
Dieser deklarative Ansatz macht Harness Engineering zu einem praktischen, iterativen Zyklus. Anstatt darauf zu hoffen, dass ein stärkeres Modell systemische Mängel ausgleicht, untersuchen Entwickler Agentenfehler in Produktions-Traces, identifizieren fehlende Anweisungen oder fehlerhafte Prozesse und verbessern dann direkt den Harness. Das bedeutet, eine Markdown-Anweisungsdatei zu aktualisieren oder eine Skill-Definition zu verfeinern, anstatt den Kerncode neu zu schreiben.
Diese Methode zieht auch eine direkte Parallele zwischen Coding-Agent-Komponenten und geschäftlichen Produktions-Agenten. Regeln und Anweisungsdateien entsprechen System-Prompts, Subagents werden zu Multi-Agent-Orchestrierungen und Skills fungieren als strukturierte Standardarbeitsanweisungen. Diese 1:1-Abbildung rationalisiert die Entwicklung und kontinuierliche Verfeinerung robuster, anpassungsfähiger AI Agents.
Das Playbook für Coding-Agents passt jetzt auch für Business-Bots
Die architektonischen Blaupausen für zuverlässige AI Coding Agents informieren nun direkt das Design von Business-Bots auf Produktionsniveau. Dieser Wandel definiert neu, wie wir agentische Systeme bauen und verwalten – weg von spröder, fest codierter Logik hin zu flexiblen, deklarativen Konfigurationen.
Betrachten Sie die direkte Abbildung: Anweisungsdateien wie INSTRUCTIONS.md werden zu Systemregeln, die den globalen Kontext und die Persona eines Agenten definieren. Subagents, die zuvor zur Aufgabenzerlegung beim Programmieren verwendet wurden, repräsentieren nun delegierte Workflows in der Multi-Agent-Orchestrierung.
Entscheidend ist, dass MCP Tools (Model Context Protocol) standardisierte Integrationspunkte für externe Datenbanken und APIs bieten, während Skills – definiert als Markdown-Rezepte – komplexe Funktionen durch strukturierte, schrittweise prozedurale Richtlinien ersetzen. Schließlich erzwingen Hooks Guardrails, die als Policy-Interzeptoren für Vor- und Nachprüfungen fungieren und eine deterministische Kontrolle gewährleisten.
Dieser deklarative Ansatz, der Markdown- und YAML-Dateien nutzt, macht Workflows von Natur aus einfacher zu überprüfen und zu überarbeiten. Agenten können diese Konfigurationen sogar basierend auf Laufzeit-Feedback selbst modifizieren – ein Kernprinzip des Harness Engineering. Der Code kümmert sich weiterhin um die wesentlichen technischen Grundlagen und deterministischen Kontrollen, aber die übergeordnete Logik liegt in einer für Menschen und KI lesbaren Konfiguration.
Während Cole Medins Video LangChains Managed Deep Agents als Implementierungsbeispiel verwendet, ist diese zugrunde liegende Architektur universell. Dieselben Prinzipien der Externalisierung von Regeln, Skills und Guardrails können mit anderen Bereitstellungs- und Orchestrierungsplattformen angewendet werden, was die strategische Bedeutung des Designmusters gegenüber jedem spezifischen Tool unterstreicht.
Zwei Schleifen verwandeln Fehler in operatives Gedächtnis
Fehler sind keine Misserfolge, sondern Datenpunkte. Das agentische System erfasst diese Datenpunkte durch zwei verschiedene Feedbackschleifen und wandelt Laufzeitfehler in operatives Gedächtnis um.
Erstens adressiert die runtime memory loop unmittelbare Unsicherheiten. Wenn ein Agent auf eine neuartige oder mehrdeutige Situation stößt, kann er eine vorsichtige, vorläufige Antwort geben und den Fall dann zur Überprüfung an einen Menschen eskalieren. Der Mensch bestätigt oder korrigiert die Antwort, und diese Korrektur wird sofort in das Gedächtnis des Agenten zurückgeschrieben.
Diese Korrektur wird zu einer abrufbaren Lektion, die in einem Context Hub gespeichert wird. Dieses Gedächtnis kann auf einen einzelnen Benutzer begrenzt werden, um personalisiertes Lernen zu gewährleisten, oder für eine breitere Systemverbesserung über relevante Fälle hinweg geteilt werden. Der Agent lernt nicht nur, was zu tun ist, sondern wie er seine internen Regeln und Arbeitsabläufe anpassen kann.
Betrachten Sie einen Support-Agenten für Archon. Ein Benutzer meldete, dass ein lokaler Fix fehlte, aber der Agent konnte ihn unter Bezugnahme auf einen origin/main Worktree nicht finden. Nach der menschlichen Korrektur zeichnete der Agent den spezifischen Kontext auf – den Branch des Benutzers und den korrekten Speicherort des lokalen Fixes. Eine nachfolgende, ähnliche Anfrage konnte dann souverän beantwortet werden, indem direkt auf dieses neu erworbene, spezifische Gedächtnis zurückgegriffen wurde. Für weiterführende Informationen zum robusten Agenten-Design siehe Building Effective AI Agents - Anthropic Engineering.
Die zweite Schleife, die retroactive trace loop, untersucht die gesamte Interaktionshistorie eines Agenten, eine reichhaltige „Goldmine“ an Leistungsdaten. Diese Schleife identifiziert tiefere, systemische Probleme, die die Laufzeitschleife möglicherweise übersieht.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Nutzen Sie die Traces – aber lassen Sie den Menschen auf der Bremse
Eine langsamere, retrospektive Schleife durchsucht Produktions-Traces nach wiederkehrenden Fehlern. Diese „Goldmine“ an Informationen ermöglicht es einem Agenten, seine eigene operative Historie zu analysieren und Aktualisierungen seiner Kernanweisungen, Fähigkeiten oder Leitplanken (Guardrails) vorzuschlagen, die über Korrekturen von Einzelfällen hinausgehen.
Es ist entscheidend, nützliches Gedächtnis von einer dauerhaften Harness-Korrektur zu unterscheiden. Laufzeit-Gedächtnisse rufen fallbezogene Lektionen zur sofortigen Anwendung ab, wie etwa die Präferenz eines Kunden. Arbeitsablauf- und Anweisungsaktualisierungen verhindern jedoch Wiederholungsfehler umfassender und härten die zugrunde liegende Logik des Agenten.
Die Umsetzung dieser Änderungen erfordert Vorsicht und einen Menschen, der auf der Bremse steht. Überprüfen Sie die vom Agenten vorgeschlagenen Änderungen und testen Sie diese dann anhand einer vielfältigen Menge repräsentativer Fälle. Implementieren Sie für konsequente Prüfungen deterministic hooks, um Richtlinien durchzusetzen. Stellen Sie schließlich Updates schrittweise bereit und überwachen Sie die Traces nach der Einführung, um die Korrekturen zu bestätigen und neue Regressionen im harness engineering zu verhindern.
Häufig gestellte Fragen
Was ist Harness Engineering für KI-Agenten?
Harness Engineering verbessert die Regeln, Arbeitsabläufe, Werkzeuge, das Gedächtnis und die Leitplanken rund um ein KI-Modell, damit dessen Verhalten zuverlässiger wird.
Wie kann ein KI-Agent aus Produktionsfehlern lernen?
Erfassen Sie unsichere oder fehlgeschlagene Interaktionen, überprüfen Sie diese mit einem Menschen und verwandeln Sie bestätigte Korrekturen in abrufbare Erinnerungen oder Aktualisierungen der Anweisungen und Fähigkeiten des Agenten.
Sollte ein KI-Agent seine eigenen Anweisungen automatisch umschreiben?
Er kann Änderungen vorschlagen, aber konsequente Anpassungen sollten vor der Bereitstellung von einem Menschen überprüft und getestet werden.
Welche Rolle spielen Produktions-Traces?
Traces zeigen auf, wo Arbeitsabläufe unterbrochen werden, wo Werkzeuge falsch verwendet werden und welche Anweisungen verbessert werden müssen, was sie zu wertvollen Beweisen für die Verfeinerung des Harness eines Agenten macht.