Kontextkomprimierung und Konversationsverlaufsverwaltung

Die meisten Chat-APIs sind zustandslos. Bei jeder Anfrage wird die bisherige Konversation erneut gesendet und das Modell liest sie von Grund auf. Tokens, Kosten und Latenz steigen daher mit zunehmender Sitzungsdauer, bis der Verlauf das Kontextlimit erreicht und die Anfrage fehlschlägt oder abgeschnitten wird. Schon vorher kann die Qualität sinken, weil relevante Details im alten Material vergraben sind. Die einfachste Strategie ist das Abschneiden, normalerweise als Schiebefenster: Behalten Sie die Systemeingabeaufforderung und die letzten Änderungen bei und lassen Sie den Rest fallen. Es ist billig und vorhersehbar, vergisst jedoch frühe Fakten, wie z. B. Einschränkungen, die der Benutzer zu Beginn angegeben hat. Eine häufige Verbesserung besteht darin, wichtige Nachrichten anzuheften, damit sie nie gelöscht werden. Die fortlaufende Zusammenfassung ersetzt ältere Gesprächsrunden durch eine vorbildlich verfasste Zusammenfassung, die mit zunehmender Konversation aktualisiert wird. Es hält das Wesentliche in weitaus weniger Tokens fest. Der Preis besteht darin, dass Zusammenfassungen Details verlieren und zu Fehlern führen können. Diese Fehler verschlimmern sich, wenn eine Zusammenfassung selbst noch einmal zusammengefasst wird. Komprimierung ist eine bewusstere Version, die in Agent-Tools verwendet wird. Wenn die Token-Nutzung einen Schwellenwert überschreitet, fordert das System das Modell auf, eine strukturierte Übergabe zu schreiben, die das Ziel, den Fortschritt, Entscheidungen, offene Probleme und Schlüsseldateinamen abdeckt. Anschließend beginnt ein neuer Kontext mit dieser Übergabe und den letzten Runden. Claude Code verfügt beispielsweise über einen Komprimierungsbefehl und kann in der Nähe des Grenzwerts auch automatisch komprimieren. Das Löschen von Tool-Ergebnissen zielt auf die größte Quelle von Aufblähungen in Agentensitzungen ab: große Ausgaben von Suchvorgängen, Dateilesevorgängen und Befehlen, die einmal nützlich waren. Wenn Sie sie durch kurze Platzhalter ersetzen, wird Speicherplatz frei und weiterhin aufgezeichnet, dass der Anruf stattgefunden hat. Ein externer Speicher speichert Fakten in einer Datei oder Datenbank und ruft sie bei Bedarf ab, sodass sie auch bei Kürzungen überstehen. Ein häufiges Missverständnis besteht darin, dass sich das Modell selbstständig an frühere Teile eines Chats erinnert. Jede Kontinuität ergibt sich aus dem, was die Anwendung erneut sendet oder abruft.