VolgendeVolgende gids
Python Afhankelijkheidsbeheer voor ML
Technisch
Technische GIDS
Beheer van gesprekgeschiedenis is de set technieken die een lange chat of agentsessie binnen de contextlimiet van een model houden.
Luister naar deze gidsAI-verteld · ~3 min
De belangrijkste zijn het laten vallen van oude beurten, het samenvatten van eerdere delen, het comprimeren van de hele geschiedenis in een beknopte samenvatting en het wissen van oude tooluitvoer. Het is belangrijk omdat een taalmodel geen geheugen heeft tussen oproepen buiten wat de applicatie opnieuw verzendt. Zodra de geschiedenis de venster overschrijdt, moet er iets worden afgebroken, en wat er wordt afgebroken bepaalt of de assistent coherent blijft.
Most chat APIs are stateless. Every request resends the conversation so far, and the model reads it from scratch. Tokens, cost and latency therefore grow as the session gets longer, until the history hits the context limit and the request fails or gets truncated. Quality can drop even before that point, because relevant details are buried among old material. The simplest strategy is truncation, usually as a sliding window: keep the system prompt and the most recent turns, and drop the rest. It is cheap and predictable, but it forgets early facts, such as constraints the user stated at the start. A common refinement is to pin important messages so they are never dropped. Rolling summarization replaces older turns with a model-written summary that is updated as the conversation grows. It keeps the gist in far fewer tokens. The cost is that summaries lose detail and can introduce errors, and those errors compound when a summary is itself summarized again. Compaction is a more deliberate version used in agent tools. When token usage crosses a threshold, the system asks the model to write a structured handoff covering the goal, progress, decisions, open problems and key file names. It then starts a fresh context with that handoff plus the most recent turns. Claude Code, for example, has a compact command and can also compact automatically near the limit. Tool-result clearing targets the biggest source of bloat in agent sessions: large outputs from searches, file reads and commands that were useful once. Swapping them for short placeholders frees space and still records that the call happened. External memory stores facts in a file or database and retrieves them when relevant, so they survive any trimming. A common misconception is that the model remembers earlier parts of a chat on its own. Any continuity comes from what the application chooses to resend or retrieve.
Een chatbot houdt het systeemprompt plus de laatste 20 berichten vast en laat alles ouder weg. Dit is goedkoop, maar het vergeet de naam en het budget dat de gebruiker in het eerste bericht gaf.
Elke 10 beurten vat een kleiner model het oudere deel van het gesprek samen in één alinea die bovenaan de context blijft. Dit is een rollende samenvatting.
Een coderingsagent die dicht bij zijn limiet is, schrijft een overdracht: het doel, gewijzigde bestanden, open bugs en genomen beslissingen. Vervolgens start hij een nieuwe context die die overdracht en de meest recente bestanden bevat.
An agent replaces search results older than a few turns with a short placeholder, such as '[web search output cleared: 12 results]'. Raw results are rarely needed again once the agent has acted on them.
Leveranciers hebben begonnen met het integreren van geschiedenisbeheer in hun platforms. Functies omvatten server-side conversatiestatus, automatische compactie en contextbewerking die oude toolresultaten wist. Dit vermindert boilerplate, maar ontwikkelaars moeten nog steeds beslissen wat nooit vergeten mag worden. Onderzoek gaat door naar modellen die lange contexten betrouwbaarder gebruiken en naar geheugen‑systemen die feiten over sessies heen opslaan en ophalen. Compactie zal waarschijnlijk een standaardgedrag worden in agent‑frameworks, maar de afweging tussen detail en ruimte verdwijnt niet. Er is geen methode die alles gratis bewaart, dus het testen wat verloren gaat blijft deel van het werk.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Conversatiegeschiedenisbeheer is de set technieken die een lange chat of agentsessie onder het contextlimiet van een model houden. De belangrijkste zijn het laten vallen van oude beurten, het samenvatten van eerdere delen, het comprimeren van de hele geschiedenis tot een beknopte samenvatting en het wissen van oude tooluitvoer. Het is belangrijk omdat een taalmodel geen geheugen heeft tussen oproepen buiten wat de applicatie opnieuw verzendt. Zodra de geschiedenis de vensterlimiet overschrijdt, moet er iets worden afgebroken, en wat afgebroken wordt bepaalt of de assistent coherent blijft.
Stateless API's verwerken de hele geschiedenis bij elke aanroep. Naarmate de geschiedenis groeit, groeien ook de tokens, kosten en latentie van elk verzoek.
Alleen recente bochten behouden is goedkoop en voorspelbaar, maar alles wat uit het raam valt, is verdwenen, tenzij het vastgezet werd.
Elke samenvattingsronde is verlieslatend. Een fout in de ene samenvatting wordt doorgevoerd in de volgende, waardoor fouten zich gedurende een lange sessie kunnen ophopen.
Compaction condenseert de sessie tot een doelbewuste opdracht en opent daarmee en met de meest recente wendingen een nieuwe context. De agent kan doorgaan zonder de volledige geschiedenis.
De gereedschapsuitvoer kan erg groot zijn en is vaak maar één keer bruikbaar. Als u ze verwisselt voor tijdelijke aanduidingen, wordt er veel ruimte vrijgemaakt en wordt bijgehouden dat het gesprek heeft plaatsgevonden.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Python Afhankelijkheidsbeheer voor ML
Technisch