Anthropic liest den Code seiner KI kaum. Hier ist der Grund

Code-Reviews, ein traditioneller Engpass in der Softwareentwicklung, erleben einen tektonischen Wandel. Das Haupt-Monorepo von Anthropic skalierte beispielsweise von etwa 2.500 täglichen Änderungen im Mai auf über 30.000 an seinem geschäftigsten Tag im September. Gleichzeitig schreibt Claude mittlerweile etwa 90 % des eigenen Codes von Claude Code, was eine zeilenweise menschliche Überprüfung unpraktikabel macht.

Anstatt eine menschliche Überprüfung jeder Zeile anzustreben, fragen die Teams von Anthropic jetzt: „Was könnte bei dieser Änderung schiefgehen?“ und „Welche Prüfung – automatisiert oder menschlich – ist am besten geeignet, um dies zu erkennen?“ Dieser pragmatische Ansatz stellt sicher, dass die meisten Pull Requests (PRs) mit höchstens einer beteiligten Person zusammengeführt werden, oft nur dem Autor selbst. Boris Cherny, der Claude Code entwickelt hat, veröffentlicht täglich 20-30 PRs – ein Tempo, das mit herkömmlichen Methoden unmöglich wäre.

Dieses neue System hat bemerkenswerte Ergebnisse geliefert. Zwischen Juni und September hat sich die Anzahl der zusammengeführten PRs mehr als verdoppelt. Entscheidend ist, dass der Anteil der PRs, die rückgängig gemacht werden mussten, um 40 % gesunken ist, was zeigt, dass eine geringere Belastung durch menschliche Überprüfungen nicht zwangsläufig zu mehr Fehlern führt. Dieser Wandel unterstreicht eine grundlegende Neubewertung der Art und Weise, wie wir Code-Qualität in großem Maßstab sicherstellen.

Bugs müssen einen Spießrutenlauf aus automatisierten Prüfungen überstehen, die darauf ausgelegt sind, Probleme zu erkennen, bevor menschliche Augen überhaupt einen Pull Request sehen. Claude führt zunächst Tests aus, erstellt die Anwendung oder vergleicht Screenshots innerhalb der Sitzung des Autors, um seine Arbeit selbst zu verifizieren. Dann überprüft ein Sub-Agent mit frischem Kontext unabhängig den Diff, um sicherzustellen, dass keine Voreingenommenheit aus der Erstellungssitzung die erste Bewertung beeinflusst.

Sobald ein Pull Request erstellt wurde, übernimmt ein dediziertes Claude-Reviewer-Produkt, das mehrere Agenten einsetzt, um gleichzeitig nach Bugs zu suchen. Eine separate Gruppe von Agenten stimmt dann über diese Ergebnisse ab, und nur wenn genügend Agenten zustimmen, wird ein Kommentar gepostet, was die Anzahl der Fehlalarme erheblich reduziert.

Das System lernt aus seinen Fehlern und wandelt wiederkehrende Probleme in Lint-Regeln oder spezifische Anleitungen in CLAUDE.md-Dateien um. Dies stellt sicher, dass häufige Fehler vorgelagert behoben werden, um ihre Wiedereinführung zu verhindern. Wenn der Reviewer hingegen wiederholt akzeptablen Code markiert, klären review.md-Dateien, die von den Code-Eigentümern verfasst wurden, was in diesem spezifischen Code-Bereich als Fehler gilt.

Vor dem Zusammenführen prüft ein separater Security-Review-Agent den Code auf Schwachstellen, und Standard-CI-Prüfungen – einschließlich Tests, Typenprüfung und Linting – müssen bestanden werden. Dieses geschichtete „Schweizer-Käse-Modell“ stellt sicher, dass selbst wenn eine Verteidigung ein „Loch“ hat, nachfolgende Schichten den Fehler wahrscheinlich abfangen, was es Anthropic ermöglicht, Merges zu skalieren, ohne die Stabilität zu opfern.

Die menschliche Überprüfung bleibt eine kritische, wenn auch abgestufte Sicherheitsmaßnahme. Änderungen mit geringem Risiko von vertrauenswürdigen Autoren, wie Dokumentationsaktualisierungen oder Arbeiten mit Feature-Flags, umgehen oft die menschliche Genehmigung. Gewöhnliche Änderungen oder Modifikationen an sensiblen Bereichen erfordern eine menschliche Freigabe, während Pfade mit hohem Risiko zwei erfordern. Die Klassifizierungs-Agenten von Anthropic bestimmen diese Stufen, wobei ein zweiter Agent die Anforderung für die menschliche Überprüfung validiert.

Die Bewertung konzentriert sich auf die Auswirkungen in der Praxis. Fehler, die mit Vorfällen verknüpft sind, werden für den Prüfer in tägliche Testfälle umgewandelt, wodurch sichergestellt wird, dass das System aus vergangenen Fehlern lernt. Nur Änderungen an Prompts, Modellen oder Regeln, die die Leistung nachweislich verbessern, ohne übermäßiges Rauschen zu erzeugen, werden beibehalten. Diese iterative Feedbackschleife verfeinert den automatisierten Überprüfungsprozess ständig. Weitere Details zu diesem komplexen System finden Sie unter How the Claude Code team does code review.

Agent-zu-Agent-Überprüfungen können das System jedoch in einer Schleife gefangen halten. Übermäßige Nörgeleien führen zu wiederholten Bearbeitungen und anschließenden Überprüfungen, wie ein PR mit über 50 Runden zeigte. Um dem entgegenzuwirken, hat Anthropic die Anzahl der Überprüfungsrunden begrenzt und spätere Überprüfungen ausschließlich auf neue Änderungen konzentriert. Durch diesen Eingriff stieg die Anzahl der PRs, die nach einer Runde genehmigt wurden, von 65 % auf 78 %, während die Anzahl derer, die fünf oder mehr Runden benötigten, von 9 % auf 1,5 % sank.

Das dramatische Scaling von Anthropic bietet einen Einblick in das KI-native Engineering, aber nicht jedes Team kann diesen Ansatz einfach kopieren. Obwohl sich die Anzahl der zusammengeführten PRs mehr als verdoppelt hat und der Anteil der Reverts um 40 % gesunken ist, belegen die veröffentlichten Metriken nicht endgültig, dass insgesamt weniger Änderungen zu Fehlern führten. Wenn das Volumen der Änderungen stark genug gestiegen ist, könnte die absolute Anzahl der Reverts trotz eines geringeren prozentualen Anteils dennoch gestiegen sein.

Die Replikation des Multi-Agenten-Überprüfungssystems von Anthropic erfordert erhebliche Ressourcen und hochspezialisierte interne Tools. Den meisten Unternehmen fehlen das Token-Budget, die Rechenkapazität oder die ausgeklügelten Feedbackschleifen, die es Claude ermöglichen, seine Überprüfungsfähigkeiten selbst zu verbessern. Dies ist keine schnelle Integration, sondern ein grundlegender architektonischer Wandel.

Dennoch gibt es pragmatische Erkenntnisse für jedes Team. Leiten Sie Agenten mit präzisen Anweisungen an und automatisieren Sie Prüfungen für wiederkehrende Fehler, anstatt sie iterativ zu beheben. Begrenzen Sie Überprüfungsschleifen – Anthropic hat auf die harte Tour gelernt, dass Agenten in über 50 Runden feststecken können. Reservieren Sie menschliche Aufmerksamkeit für wirklich folgenreiche Entscheidungen, wie architektonische Entscheidungen oder risikoreichen Abrechnungscode. Letztendlich bleibt die Regel „Wer es einspielt, ist dafür verantwortlich“ von größter Bedeutung: Die Verantwortung für die Ergebnisse liegt weiterhin bei den Menschen.

Lässt Anthropic jede Claude Code-Änderung von Menschen überprüfen?

Nein. Die menschliche Überprüfung hängt vom Risiko ab: Einige vertrauenswürdige Änderungen mit geringem Risiko können ohne menschliche Genehmigung zusammengeführt werden, während sensible oder risikoreiche Änderungen eine oder zwei Personen erfordern.

Wie überprüft Anthropic KI-generierten Code?

Der Prozess kombiniert lokale Tests, Agenten-Überprüfungen mit frischem Kontext, Multi-Agenten-Fehler- und Sicherheitsprüfungen, CI, risikobasierte menschliche Überprüfung und Produktionsüberwachung.

Hat die Revert-Rate von Anthropic bewiesen, dass weniger Fehler die Produktion erreichten?

Nicht für sich allein. Der Anteil der zusammengeführten PRs, die rückgängig gemacht wurden, sank um 40 %, aber das Volumen der zusammengeführten PRs hat sich mehr als verdoppelt, und Anthropic hat die zugrunde liegenden Zahlen nicht veröffentlicht.

Was können kleinere Engineering-Teams von Anthropic kopieren?

Verwenden Sie automatisierte Prüfungen für wiederholbare Risiken, halten Sie Agentenanweisungen fokussiert, begrenzen Sie Überprüfungsrunden, passen Sie die menschliche Überprüfung an das Risiko an und lassen Sie die Person, die eine Änderung einspielt, für das Ergebnis verantwortlich sein.