Ihr KI-Chatbot hat kein Gedächtnis – hier ist der Trick

Chatbots beziehen sich fließend auf Details aus früheren Phasen Ihres Gesprächs und erzeugen so die überzeugende Illusion eines Gedächtnisses. Doch das zugrunde liegende Large Language Model (LLM) selbst besitzt keinen persistenten Zustand; es arbeitet als stateless function.

Die Kernaufgabe eines LLM besteht darin, den nächsten token ausschließlich auf Basis der aktuellen Eingabe vorherzusagen. Sobald es eine Antwort generiert hat und der Inferenzprozess abgeschlossen ist, behält das Modell diese Interaktion nicht als persönliche Erinnerung bei. Stellen Sie es sich wie einen Taschenrechner vor: Er führt eine Berechnung durch und zeigt das Ergebnis an, „erinnert“ sich aber nicht an die vorherige Summe, wenn Sie eine neue eingeben.

Die Gesprächskontinuität, die Sie erleben, stammt von der umgebenden Anwendung, nicht von einem versteckten internen Gedächtnis innerhalb des LLM. Software-Wrapper, wie sie von ChatGPT oder Claude verwendet werden, erreichen dies, indem sie den gesamten Gesprächsverlauf jedem neuen Prompt voranstellen. Diese Wiedereinspielung vergangener Austausche erzeugt die raffinierte Illusion, dass sich das Modell erinnert, während es lediglich eine stetig wachsende Eingabe verarbeitet.

Chat-Anwendungen erreichen Gesprächskontinuität, indem sie den gesamten vorangegangenen Dialogverlauf mit jeder neuen Benutzernachricht erneut senden. Diese Technik, oft als „context window stuffing“ bezeichnet, liefert dem LLM alle notwendigen Informationen, um eine kohärente Antwort zu generieren, und erzeugt so die illusion of memory. Das Modell verarbeitet diesen verketteten Text als einen einzigen, erweiterten Prompt.

Für dauerhaftes Abrufen über Sitzungen hinweg kann eine Anwendung wichtige Fakten, Benutzerpräferenzen oder vergangene Interaktionen in einer Datenbank oder Datei speichern. Wenn ein Benutzer zurückkehrt, ruft die Anwendung diese gespeicherten Details ab und fügt sie in den anfänglichen Prompt ein, wodurch das LLM auf frühere Informationen verweisen kann. Dies sind gespeicherte Daten, kein intrinsisches Gedächtnis des Modells selbst.

Dieser Gedächtnis-Trick bringt Kompromisse mit sich. Das wiederholte Einbeziehen langer Verläufe erhöht die Gesamtzahl der tokens, die bei jedem Turn gesendet werden, erheblich und steigert die API-Kosten. Das context window eines LLM setzt zudem ein hartes Limit für die Eingabelänge, was die Tiefe des simulierten Gedächtnisses einschränkt. Während Prompt-Caching wiederholte Präfixe optimieren kann, verleiht es dem zugrunde liegenden Modell kein dauerhaftes Gedächtnis.

Während Ihre Chat-Anwendung die Wiederholung des Gesprächs übernimmt, verarbeitet das Large Language Model (LLM) selbst Ihre Worte nicht direkt. Intern arbeiten LLMs mit numerischen Repräsentationen, sogenannten tokens. Bevor Ihr Text das Modell erreicht, wandelt ein Tokenizer ihn in eine Sequenz dieser Token-IDs um.

Tokens sind nicht einfach einzelne Wörter oder Zeichen; es sind Textabschnitte, die die Trainingsdaten des Modells als statistisch signifikant identifiziert haben. Ein häufiges Wort wie „the“ könnte ein einzelnes Token werden, aber ein weniger häufiges oder komplexes Wort, wie „unbelievable“, könnte in mehrere kleinere Fragmente wie „un“, „believe“ und „able“ aufgeteilt werden. Diese Subword-Tokenisierung ermöglicht es Modellen, ein riesiges Vokabular effizient zu handhaben.

Das Verständnis von Token-Anzahlen ist entscheidend, da sie sich direkt auf die Limits des Kontextfensters und die API-Kosten auswirken. Als allgemeine Faustregel entsprechen 1.000 Token etwa 750 englischen Wörtern, dies kann jedoch je nach Text variieren. Sie können die genaue Token-Anzahl für jeden beliebigen Text mit Tools wie dem OpenAI Tokenizer Tool überprüfen. Dieser Konvertierungsprozess ist für den Benutzer zwar unsichtbar, aber grundlegend dafür, wie LLMs menschliche Sprache interpretieren und generieren.

Das Vortäuschen von Erinnerung bringt echte Kosten mit sich. Anbieter berechnen sowohl Eingabe- als auch Ausgabe-Token für die Preisgestaltung und Ratenbegrenzungen; folglich macht das erneute Senden eines vollständigen, wachsenden Transkripts bei jedem Schritt lange Chats teurer. Ein typisches englisches Token entspricht etwa drei Vierteln eines Wortes, sodass eine Konversation, die mehrere Seiten umfasst, schnell Tausende von Token ansammeln kann.

Das Hinzufügen von mehr Verlauf garantiert keine bessere Erinnerung. Studien zeigen, dass wichtige Details für das Modell schwerer zu „sehen“ sein können, wenn sie tief in einem massiven Prompt vergraben sind – ein Phänomen, das manchmal als Kontextdegradierung bezeichnet wird. Der Aufmerksamkeitsmechanismus des Modells, der mit der Token-Länge skaliert, kann Schwierigkeiten haben, alle Teile einer übermäßig langen Eingabe effektiv zu gewichten.

Betrachten Sie den gespeicherten Chatbot-Speicher als Anwendungsfunktion, die sich von den Kernfähigkeiten des LLM unterscheidet. Überprüfen Sie, welche Details ein Dienst speichert und wie er diese nutzt, um zukünftige Interaktionen zu informieren. Das Verständnis dieser Unterscheidung ist der Schlüssel zur effektiven Nutzung dieser leistungsstarken, aber zustandslosen Systeme.

Für weiterführende Informationen konsultieren Sie die Memory-Hilfeseite von OpenAI und das grundlegende Paper „Attention Is All You Need“.

Erinnern sich LLMs an frühere Konversationen?

Ein Modell behält eine Konversation nicht bei, nachdem eine Anfrage beendet wurde. Eine App kann den Chatverlauf oder Benutzerdetails speichern und relevante Informationen in spätere Prompts einfügen.

Warum scheint sich ein Chatbot an mich zu erinnern?

Die Chatbot-Anwendung sendet möglicherweise frühere Nachrichten erneut oder ruft gespeicherte Details ab, wodurch sich die Konversation kontinuierlich anfühlt, obwohl das Modell selbst kein dauerhaftes Gedächtnis besitzt.

Was sind Token in einem LLM?

Token sind numerische Einheiten, die Text repräsentieren. Es können ganze gebräuchliche Wörter oder Fragmente weniger gebräuchlicher Wörter sein, und sie beeinflussen die Modell-Limits und API-Kosten.

Macht das erneute Senden des Chatverlaufs KI teurer?

Das kann sein. Wenn eine App bei jeder Anfrage mehr vorherige Nachrichten einbezieht, summiert sich die Nutzung von Eingabe-Token über die einzelnen Schritte hinweg, obwohl Caching die Kosten für wiederholten Text reduzieren kann.