Die Wissenslücke hinter einer selbstbewussten Antwort
Sprachmodelle sind hervorragend darin, Fragen auf Basis von Mustern zu beantworten, die sie während ihres umfangreichen Trainings gelernt haben. Sie können jedoch nicht auf Informationen zugreifen, die nicht Teil dieser Trainingsdaten waren, wie etwa die neuesten internen Richtlinien Ihres Unternehmens oder ein Vorfall, der sich gestern ereignet hat. Eine Frage zu einer spezifischen internen Änderung der „Refund Policy“ aus der letzten Woche würde beispielsweise wahrscheinlich zu einer selbstbewussten, aber falschen oder verallgemeinerten Antwort führen.
Diese „Wissenslücke“ ist der Punkt, an dem Retrieval-Augmented Generation (RAG) ansetzt. Bei RAG geht es nicht darum, das Modell von Grund auf intelligenter zu machen oder sein Kernwissen zu aktualisieren. Stattdessen geht es darum, dem Modell genau zum richtigen Zeitpunkt relevante externe Informationen zur Verfügung zu stellen, um Ihre spezifische Frage zu beantworten.
Stellen Sie es sich so vor, als würden Sie einem Experten einen Spickzettel geben, bevor er antwortet. Ihre Anwendung durchsucht zuerst eine separate Wissensdatenbank – oft eine Vector Database – nach Informationen, die in direktem Zusammenhang mit Ihrer Anfrage stehen. Diese Datenbank speichert Ihre Dokumente, Artikel oder internen Richtlinien, die in numerische Embeddings umgewandelt wurden, welche deren Bedeutung erfassen.
Wenn Sie fragen „Wie bekomme ich mein Geld zurück?“, kann die Vector Database ein Dokument mit dem Titel „Refund Policy“ finden, auch wenn diese exakten Wörter nicht in Ihrer Frage vorkamen. Dieser abgerufene Text wird dann Ihrem Prompt hinzugefügt, wodurch das Sprachmodell den präzisen Kontext erhält, den es benötigt, um eine genaue Antwort zu formulieren. Dieser Prozess ermöglicht es dem Modell, Fragen zu Dokumenten zu beantworten, auf denen es nie explizit trainiert wurde.
Warum „Refund Policy“ zu „Wie bekomme ich mein Geld zurück“ passen kann
Haben Sie schon einmal versucht, ein Dokument mit leicht anderen Wörtern als im Titel zu suchen? Herkömmliche Suchmaschinen haben oft Schwierigkeiten und benötigen eine nahezu perfekte Übereinstimmung der Schlüsselwörter. Wenn Sie „Wie bekomme ich mein Geld zurück“ eingeben, könnte eine Suche nach einem Dokument mit dem Titel „Refund Policy“ leer ausgehen. Hier verändert Semantic Search die Spielregeln.
Die Semantic Search versteht die Bedeutung hinter Ihren Wörtern, nicht nur die Wörter selbst. Sie kann „Geld zurückbekommen“ mit „Refund Policy“ verknüpfen, da sie erkennt, dass beide das gleiche Kernkonzept vermitteln. Diese Magie geschieht durch Embeddings: numerische Repräsentationen von Text.
Stellen Sie sich ein Embedding als einen Punkt in einem riesigen, mehrdimensionalen Raum vor. Wörter und Phrasen mit ähnlicher Bedeutung, wie „Apfel“ und „Orange“, befinden sich in diesem Raum sehr nah beieinander. Ein völlig unzusammenhängendes Konzept, wie „Auto“, wäre viel weiter entfernt. Während wir dies in zwei oder drei Dimensionen visualisieren können, verwenden reale Text-Embeddings oft Hunderte oder Tausende von Dimensionen, um komplexe semantische Beziehungen zu erfassen.
Diese Ansammlungen von Zahlen werden Vectors genannt. Eine Vector Database speichert diese Vektoren zusammen mit ihren ursprünglichen Textabschnitten. Wenn Sie eine Frage stellen, wird auch Ihre Anfrage in ein Embedding umgewandelt. Die Datenbank findet dann schnell die Textabschnitte, deren Vektoren denen Ihrer Anfrage am nächsten liegen, und ruft die semantisch relevantesten Informationen ab. Dies ermöglicht es dem System, exakte Quellpassagen zu extrahieren, die direkt mit Ihrer Frage zusammenhängen, selbst wenn die Formulierung anders ist.
Die vier Schritte, mit denen RAG Antworten mit Quellen liefert
So ermöglicht Retrieval-Augmented Generation (RAG) einer KI, Fragen unter Verwendung von Informationen zu beantworten, auf denen sie nie trainiert wurde. Es ist ein cleverer Vier-Schritte-Tanz zwischen Ihren Dokumenten und dem Sprachmodell.
Zuerst werden Ihre Quelldokumente in kleinere Chunks unterteilt. Jeder Chunk wird dann in ein Embedding umgewandelt – eine lange Liste von Zahlen, die dessen Bedeutung erfasst. Stellen Sie es sich wie die Abbildung von Wörtern auf Koordinaten in einem riesigen, mehrdimensionalen Diagramm vor. Diese Embeddings werden zusammen mit ihren ursprünglichen Text-Chunks in einer speziellen Datenbank gespeichert, die oft als Vektordatenbank bezeichnet wird.
Wenn Sie eine Frage stellen, durchläuft Ihre Anfrage denselben Embedding-Prozess. Die Vektordatenbank findet dann die Chunks, deren Embeddings numerisch am nächsten am Embedding Ihrer Frage liegen. Das bedeutet, dass sie semantisch ähnliche Texte abruft, selbst wenn die genauen Wörter nicht übereinstimmen.
Als Nächstes nimmt die Anwendung Ihre ursprüngliche Frage und fügt die abgerufenen Text-Chunks hinzu, wodurch ein erweiterter Prompt entsteht. Dieser angereicherte Prompt wird dann an das Sprachmodell gesendet. Wenn Sie beispielsweise nach einer Rückerstattungsrichtlinie gefragt haben, könnte der Prompt lauten: „Unter Verwendung des folgenden Kontexts: [abgerufener Text zur Rückerstattungsrichtlinie], erklären Sie bitte, wie ich mein Geld zurückbekommen kann.“
Das Sprachmodell generiert dann seine Antwort unter Verwendung dieses neuen, bereitgestellten Kontexts. Es ruft keine Fakten aus seinen Trainingsdaten ab, sondern verarbeitet die spezifischen Informationen, die ihm in diesem Moment übergeben werden. Dies bedeutet, dass es souverän Fragen zu internen Dokumenten Ihres Unternehmens oder zu Ereignissen von gestern beantworten kann. Weitere technische Details finden Sie im Original-Paper zu Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Wo einfaches RAG an seine Grenzen stößt – und was als Nächstes kommt
Einfache Retrieval-Augmented Generation (RAG) stößt schnell an praktische Grenzen. Manchmal ruft die semantische Suche irrelevante Chunks ab oder verpasst entscheidende, exakte Übereinstimmungen wie Fehlercodes, die keine ähnliche Bedeutung haben. Außerdem weiß das System nichts von Aktualisierungen Ihrer Dokumente, es sei denn, die Embeddings werden neu erstellt.
Deshalb kombinieren produktive RAG-Systeme oft Keyword-Suche mit Vektor-Retrieval. Sie beziehen Ergebnisse aus beiden Methoden und verwenden dann ein „Reranker“-Modell, um diese nach ihrer tatsächlichen Relevanz zu sortieren. Dies hält RAG agil und aktuell, im Gegensatz zum Fine-Tuning eines Modells, das dessen Verhalten dauerhaft verändert und für Aktualisierungen ein erneutes Training erfordert.
Halten Sie längere Kontextfenster nicht für ein Allheilmittel; selbst große Sprachmodelle haben Schwierigkeiten, riesige Textmengen effizient zu verarbeiten. Fortschrittliche RAG-Ansätze, wie agentic RAG, führen eine iterative Suche ein, die es der KI ermöglicht, ihre Anfragen zu verfeinern. GraphRAG, eine weitere Innovation, entdeckt Beziehungen zwischen Datenpunkten und geht über das einfache Abrufen von Chunks hinaus, um ein nuancierteres Verständnis Ihrer Wissensdatenbank zu ermöglichen.
Häufig gestellte Fragen
Was ist RAG bei KI?
Retrieval-Augmented Generation (RAG) ruft relevante externe Informationen ab und stellt sie einem Sprachmodell zur Verfügung, damit es unter Verwendung dieses Kontexts antworten kann.
Wie hilft eine Vektordatenbank bei RAG?
Sie speichert Text-Embeddings und ruft Passagen ab, deren Bedeutung nahe an der Anfrage eines Benutzers liegt, selbst wenn die Formulierung abweicht.
Beseitigt RAG KI-Halluzinationen?
Nein. RAG kann Antworten auf Quellenmaterial stützen, aber irrelevantes oder unvollständiges Retrieval sowie Modellfehler können dennoch zu falschen Antworten führen.
Wie unterscheidet sich RAG von Fine-Tuning?
RAG liefert zum Zeitpunkt der Anfrage relevante Informationen; Fine-Tuning verändert das erlernte Verhalten eines Modells durch zusätzliches Training.