Il prossimoProssima guida
Python Gestione delle dipendenze per ML
Tecnico
GUIDA TECNICA
La gestione della cronologia delle conversazioni è l'insieme di tecniche che mantengono una lunga chat o una sessione di un agente entro il limite di contesto di un modello.
Ascolta questa guidaNarrato dall'IA · ~3 min
I principali sono l'eliminazione delle vecchie svolte, il riassunto delle parti precedenti, la compattazione dell'intera storia in un breve condensato e la cancellazione dei vecchi risultati dello strumento. È importante perché un modello linguistico non ha memoria tra le chiamate oltre a ciò che l'applicazione invia nuovamente. Una volta che la storia supera la finestra, qualcosa deve essere tagliato, e ciò che viene tagliato decide se l'assistente rimane coerente.
La maggior parte delle API di chat sono senza stato. Ogni richiesta rinvia la conversazione fino a quel momento e il modello la legge da zero. I token, i costi e la latenza aumentano quindi man mano che la sessione si allunga, finché la cronologia non raggiunge il limite del contesto e la richiesta fallisce o viene troncata. La qualità può diminuire anche prima di quel punto, perché i dettagli rilevanti sono sepolti tra il vecchio materiale. La strategia più semplice è il troncamento, solitamente come una finestra scorrevole: mantieni il prompt del sistema e le svolte più recenti e rilascia il resto. È economico e prevedibile, ma dimentica i fatti iniziali, come i vincoli dichiarati dall'utente all'inizio. Un perfezionamento comune consiste nel fissare i messaggi importanti in modo che non vengano mai eliminati. Il riepilogo progressivo sostituisce i turni precedenti con un riepilogo scritto su modello che viene aggiornato man mano che la conversazione cresce. Mantiene l'essenza in molti meno token. Il costo è che i riepiloghi perdono dettagli e possono introdurre errori, che si aggravano quando il riepilogo stesso viene nuovamente riepilogato. La compattazione è una versione più deliberata utilizzata negli strumenti dell'agente. Quando l'utilizzo del token supera una soglia, il sistema chiede al modello di scrivere un trasferimento strutturato che copra l'obiettivo, il progresso, le decisioni, i problemi aperti e i nomi dei file chiave. Quindi inizia un nuovo contesto con quel trasferimento più i turni più recenti. Claude Code, ad esempio, ha un comando di compattazione e può anche compattarsi automaticamente vicino al limite. La cancellazione dei risultati dello strumento prende di mira la principale fonte di ingorgo nelle sessioni dell'agente: output di grandi dimensioni da ricerche, letture di file e comandi che erano utili una volta. Scambiarli con segnaposto brevi libera spazio e registra comunque che la chiamata è avvenuta. La memoria esterna memorizza i fatti in un file o in un database e li recupera quando rilevanti, in modo che sopravvivano a qualsiasi rifinitura. Un malinteso comune è che il modello ricordi da solo le parti precedenti di una chat. Qualsiasi continuità deriva da ciò che l'applicazione sceglie di inviare nuovamente o recuperare.
Un chatbot mantiene il prompt del sistema più gli ultimi 20 messaggi e elimina quelli più vecchi. Questo è economico, ma dimentica il nome e il budget che l'utente ha fornito nel primo messaggio.
Ogni 10 turni, un modello più piccolo riassume la parte più vecchia della conversazione in un paragrafo che rimane in cima al contesto. Questo è un riepilogo progressivo.
Un agente di codifica vicino al suo limite scrive un passaggio: l'obiettivo, i file modificati, i bug aperti e le decisioni prese. Quindi avvia un nuovo contesto contenente quell'handoff e i file più recenti.
Un agente sostituisce i risultati di ricerca più vecchi di qualche turno con un breve segnaposto, ad esempio "[output della ricerca web cancellato: 12 risultati]". I risultati grezzi raramente sono nuovamente necessari una volta che l'agente ha agito su di essi.
I fornitori hanno iniziato a integrare la gestione della cronologia nelle loro piattaforme. Le funzionalità includono lo stato della conversazione lato server, la compattazione automatica e la modifica del contesto che cancella i risultati dei vecchi strumenti. Ciò riduce gli standard, ma gli sviluppatori devono ancora decidere cosa non deve mai essere dimenticato. La ricerca continua su modelli che utilizzano contesti lunghi in modo più affidabile e su sistemi di memoria che archiviano e recuperano i fatti attraverso le sessioni. La compattazione diventerà probabilmente un comportamento predefinito nei framework degli agenti, ma il compromesso tra dettaglio e spazio non scomparirà. Nessun metodo mantiene tutto gratuitamente, quindi testare ciò che si perde rimarrà parte del lavoro.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La gestione della cronologia delle conversazioni è l'insieme di tecniche che mantengono una lunga chat o una sessione di un agente entro il limite di contesto di un modello. I principali sono l'eliminazione delle vecchie svolte, il riassunto delle parti precedenti, la compattazione dell'intera storia in un breve condensato e la cancellazione dei vecchi risultati dello strumento. È importante perché un modello linguistico non ha memoria tra le chiamate oltre a ciò che l'applicazione invia nuovamente. Una volta che la storia supera la finestra, qualcosa deve essere tagliato, e ciò che viene tagliato decide se l'assistente rimane coerente.
Le API stateless elaborano l'intera cronologia su ogni chiamata. Man mano che la cronologia cresce, crescono anche i token, i costi e la latenza di ogni richiesta.
Mantenere solo le svolte recenti è economico e prevedibile, ma tutto ciò che cade dalla finestra scompare a meno che non venga bloccato.
Ogni ciclo di riepilogo è in perdita. Un errore in un riepilogo si ripercuote in quello successivo, quindi gli errori possono accumularsi nel corso di una lunga sessione.
La compattazione condensa la sessione in un brief deliberato e con essa e le svolte più recenti avvia un nuovo contesto. L'agente può continuare senza la cronologia completa.
Gli output dello strumento possono essere molto grandi e spesso sono utili solo una volta. Scambiarli con segnaposto libera molto spazio e tiene traccia dell'avvenuta chiamata.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Python Gestione delle dipendenze per ML
Tecnico