DalšíDalší průvodce
Python Správa závislostí pro ML
Technický
Technický PRŮVODCE
Správa historie konverzací je soubor technik, které udržují dlouhý chat nebo relaci agenta v mezích kontextového limitu modelu.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Hlavními jsou odhazování starých kol, shrnování dřívějších částí, komprese celé historie do zhuštěného přehledu a čištění starých výstupů nástrojů. Je to důležité, protože jazykový model nemá mezi voláními žádnou paměť kromě toho, co aplikace znovu odešle. Jakmile historie přesáhne okno, musí se něco odříznout a to, co se odřízne, rozhoduje o tom, zda asistent zůstane soudržný.
Most chat APIs are stateless. Every request resends the conversation so far, and the model reads it from scratch. Tokens, cost and latency therefore grow as the session gets longer, until the history hits the context limit and the request fails or gets truncated. Quality can drop even before that point, because relevant details are buried among old material. The simplest strategy is truncation, usually as a sliding window: keep the system prompt and the most recent turns, and drop the rest. It is cheap and predictable, but it forgets early facts, such as constraints the user stated at the start. A common refinement is to pin important messages so they are never dropped. Rolling summarization replaces older turns with a model-written summary that is updated as the conversation grows. It keeps the gist in far fewer tokens. The cost is that summaries lose detail and can introduce errors, and those errors compound when a summary is itself summarized again. Compaction is a more deliberate version used in agent tools. When token usage crosses a threshold, the system asks the model to write a structured handoff covering the goal, progress, decisions, open problems and key file names. It then starts a fresh context with that handoff plus the most recent turns. Claude Code, for example, has a compact command and can also compact automatically near the limit. Tool-result clearing targets the biggest source of bloat in agent sessions: large outputs from searches, file reads and commands that were useful once. Swapping them for short placeholders frees space and still records that the call happened. External memory stores facts in a file or database and retrieves them when relevant, so they survive any trimming. A common misconception is that the model remembers earlier parts of a chat on its own. Any continuity comes from what the application chooses to resend or retrieve.
Chatbot si drží systémový prompt a posledních 20 zpráv a starší obsah odhazuje. Je to levné, ale zapomene na jméno a rozpočet, které uživatel uvedl v první zprávě.
Každých 10 kol menší model shrne starší část konverzace do jednoho odstavce, který zůstává nahoře v kontextu. Jde o běžící shrnutí (rolling summary).
Kódovací agent blízko svého limitu napíše předávací dokument (handoff): cíl, změněné soubory, otevřené chyby a učiněná rozhodnutí. Následně spustí nový kontext obsahující tento dokument a nejnovější soubory.
Agent nahrazuje výsledky vyhledávání starší než několik kol krátkým zástupným textem, například '[výstup webového vyhledávání vymazán: 12 výsledků]'. Hrubé výsledky se po tom, co agent podle nich jednal, zřídka potřebují znovu.
Poskytovatelé začali integrovat správu historie do svých platforem. Funkce zahrnují serverovou stav konverzace, automatickou kompresi a úpravu kontextu, která čistí staré výsledky nástrojů. To snižuje rutinní kód, ale vývojáři musí stále rozhodovat, co se nikdy nesmí zapomenout. Výzkum pokračuje u modelů, které spolehlivěji využívají dlouhé kontexty, a u systémů paměti, které ukládají a vyhledávají fakty napříč relacemi. Komprese pravděpodobně bude výchozím chováním v agentových frameworkech, ale kompromis mezi detaily a prostorem nezmizí. Žádná metoda neudrží vše zdarma, takže testování toho, co se ztratí, zůstane součástí práce.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Správa historie konverzací je soubor technik, které udržují dlouhý chat nebo relaci agenta v mezích kontextového limitu modelu. Hlavními jsou odhazování starých kol, shrnování dřívějších částí, komprese celé historie do zhuštěného přehledu a čištění starých výstupů nástrojů. Je to důležité, protože jazykový model nemá mezi voláními žádnou paměť kromě toho, co aplikace znovu odešle. Jakmile historie přesáhne okno, musí se něco odříznout a to, co se odřízne, rozhoduje o tom, zda asistent zůstane soudržný.
Bezstavné API zpracovává celou historii při každém volání. S růstem historie rostou i tokeny, náklady a latence každé požadavku.
Udržování pouze nedávných kol je levné a předvídatelné, ale cokoliv, co vypadne z okna, je pryč, pokud nebylo připnuto.
Každé kolo sumarizace je ztrátové. Chyba v jednom souhrnu se přenáší do dalšího, takže chyby se mohou nahromadit během dlouhé relace.
Zhutnění zhušťuje relaci do záměrného briefu a zahajuje nový kontext s ním a nejnovějšími obraty. Agent může pokračovat bez úplné historie.
Výstupy nástrojů mohou být velmi velké a často jsou užitečné pouze jednou. Jejich výměnou za zástupné symboly uvolníte spoustu místa a zaznamenáte, že k hovoru došlo.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Python Správa závislostí pro ML
Technický