LegközelebbKövetkező útmutató
Python Függőségkezelés a gépi tanulásban
Műszaki
Műszaki ÚTMUTATÓ
A beszélgetési előzmények kezelése olyan technikák összessége, amelyek a hosszú csevegési vagy ügynöki munkamenetet a modell kontextuskorlátja alatt tartják.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A főbbek a régi fordulatok eldobása, a korábbi részek összefoglalása, az egész történelem sűrített rövidbe tömörítése és a régi szerszámkimenetek törlése. Ez azért fontos, mert a nyelvi modellnek nincs memóriája a hívások között azon kívül, amit az alkalmazás újraküld. Amint az előzmények túlnőnek az ablakon, valamit le kell vágni, és ami elvágódik, az eldönti, hogy az asszisztens koherens marad-e.
Most chat APIs are stateless. Every request resends the conversation so far, and the model reads it from scratch. Tokens, cost and latency therefore grow as the session gets longer, until the history hits the context limit and the request fails or gets truncated. Quality can drop even before that point, because relevant details are buried among old material. The simplest strategy is truncation, usually as a sliding window: keep the system prompt and the most recent turns, and drop the rest. It is cheap and predictable, but it forgets early facts, such as constraints the user stated at the start. A common refinement is to pin important messages so they are never dropped. Rolling summarization replaces older turns with a model-written summary that is updated as the conversation grows. It keeps the gist in far fewer tokens. The cost is that summaries lose detail and can introduce errors, and those errors compound when a summary is itself summarized again. Compaction is a more deliberate version used in agent tools. When token usage crosses a threshold, the system asks the model to write a structured handoff covering the goal, progress, decisions, open problems and key file names. It then starts a fresh context with that handoff plus the most recent turns. Claude Code, for example, has a compact command and can also compact automatically near the limit. Tool-result clearing targets the biggest source of bloat in agent sessions: large outputs from searches, file reads and commands that were useful once. Swapping them for short placeholders frees space and still records that the call happened. External memory stores facts in a file or database and retrieves them when relevant, so they survive any trimming. A common misconception is that the model remembers earlier parts of a chat on its own. Any continuity comes from what the application chooses to resend or retrieve.
A chatbot megőrzi a rendszer kérését, valamint az utolsó 20 üzenetet, és eldob minden régebbi üzenetet. Ez olcsó, de elfelejti a felhasználó által az első üzenetben megadott nevet és költségvetést.
Minden 10. fordulatnál egy kisebb modell a beszélgetés régebbi részét egy bekezdésben foglalja össze, amely a kontextus tetején marad. Ez egy gördülő összefoglaló.
A határértékéhez közel álló kódoló ügynök átadást ír: a célt, a megváltozott fájlokat, a nyitott hibákat és a meghozott döntéseket. Ezután elindít egy új kontextust, amely tartalmazza az átadást és a legújabb fájlokat.
Az ügynök lecseréli a néhány fordulatnál régebbi keresési eredményeket egy rövid helyőrzővel, például „[webes keresés kimenete törölve: 12 eredmény]”. A nyers eredményekre ritkán van szükség újra, ha az ügynök már lépett rájuk.
A szolgáltatók megkezdték a történelemkezelés beépítését platformjaikra. A funkciók közé tartozik a szerveroldali beszélgetés állapota, az automatikus tömörítés és a kontextusszerkesztés, amely törli a régi eszközeredményeket. Ez levágja az alapokat, de a fejlesztőknek még mindig el kell dönteniük, mit nem szabad elfelejteni. Folytatódik a kutatás azokon a modelleken, amelyek megbízhatóbban használják a hosszú összefüggéseket, valamint azokon a memóriarendszereken, amelyek a munkamenetek során tárolják és visszakeresik a tényeket. A tömörítés valószínűleg alapértelmezett viselkedés lesz az ügynök-keretrendszerekben, de a részletek és a tér közötti kompromisszum nem tűnik el. Egyetlen módszer sem tart meg mindent ingyen, így az elveszett dolgok tesztelése a munka része marad.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A beszélgetési előzmények kezelése olyan technikák összessége, amelyek egy hosszú csevegést vagy ügynöki munkamenetet a modell kontextuskorlátja alatt tartják. A főbbek a régi fordulatok eldobása, a korábbi részek összefoglalása, az egész történelem sűrített rövidbe tömörítése és a régi szerszámkimenetek törlése. Ez azért fontos, mert a nyelvi modellnek nincs memóriája a hívások között azon kívül, amit az alkalmazás újraküld. Amint az előzmények túlnőnek az ablakon, valamit le kell vágni, és ami elvágódik, az eldönti, hogy az asszisztens koherens marad-e.
Az állapot nélküli API-k minden hívásnál feldolgozzák a teljes előzményeket. Az előzmények növekedésével minden kérés tokenek, költsége és késleltetése is növekszik.
Csak a legutóbbi kanyarokat megtartani olcsó és kiszámítható, de minden, ami kiesik az ablakon, eltűnik, hacsak nem rögzítették.
Az összesítés minden köre veszteséges. Az egyik összefoglaló hibája átviszi a következőt, így hosszú munkamenet során hibák gyűlhetnek fel.
A tömörítés a munkamenetet megfontolt rövid összefoglalóvá sűríti, és új kontextust indít vele és a legutóbbi fordulatokkal. Az ügynök folytathatja a teljes előzmény nélkül.
A szerszámkimenetek nagyon nagyok lehetnek, és gyakran csak egyszer hasznosak. Helyőrzőkre cserélve sok helyet szabadít fel, és rögzíti a hívás megtörténtét.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Python Függőségkezelés a gépi tanulásban
Műszaki