Caching rapido
La memorizzazione nella cache immediata consente a un modello di intelligenza artificiale di riutilizzare il lavoro computazionale svolto su una porzione ripetuta di testo invece di rielaborarlo ogni volta.
Panoramica
It dramatically cuts cost and latency when the same long instructions, documents, or examples appear in request after request.
Immersione profonda
Quando un modello linguistico legge un prompt, converte ogni token in stati numerici interni chiamati vettori valore-chiave (KV) attraverso i suoi livelli di attenzione. Normalmente ciò avviene ad ogni richiesta, anche se il 90% del prompt è identico. La memorizzazione nella cache dei prompt memorizza gli stati KV precalcolati per un prefisso contrassegnato, quindi una richiesta successiva che inizia con lo stesso testo può passare direttamente alla nuova parte. Provider come Anthropic e OpenAI lo espongono consentendoti di contrassegnare un prefisso stabile; gli accessi alla cache vengono fatturati con un forte sconto (spesso il 90% di sconto sul costo di input) e rispondono più rapidamente. È ideale per chatbot con prompt di sistema fissi, pipeline RAG che riutilizzano gli stessi documenti o agenti che riproducono lunghe storie.
Approfondimento tecnico
La memorizzazione nella cache funziona perché l'attenzione del trasformatore è causale: ogni token si occupa solo dei token che lo precedono. Pertanto gli stati KV per un prefisso non cambiano mai quando si aggiungono successivamente nuovi token. La cache viene codificata in base a una corrispondenza esatta token per token di quel prefisso, motivo per cui anche una modifica di un carattere all'inizio del prompt invalida tutto a valle. Le cache sono di breve durata (minuti), archiviate per provider e il blocco memorizzabile nella cache in genere deve superare un conteggio minimo di token.
Impatto strategico
Costo e budget
Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
Decisioni più chiare
La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
Controllo di qualità
Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.
Il futuro della memorizzazione nella cache dei prompt
Aspettatevi che la memorizzazione nella cache diventi automatica e di lunga durata, con i provider che rilevano gli intervalli riutilizzabili anziché richiedere marcatori manuali. La memorizzazione nella cache gerarchica e parziale potrebbe consentire alle modifiche nel mezzo di un prompt di riutilizzare segmenti invariati su entrambi i lati. Mentre gli agenti si destreggiano tra enormi contesti e cronologie degli strumenti, le cache condivise tra sessioni incrociate e tra utenti per i prompt di sistema comuni saranno fondamentali per rendere economicamente sostenibili contesti da milioni di token, e i modelli su dispositivo adotteranno un riutilizzo KV simile per un'inferenza locale rapida.
Implementazione nel mondo reale
Un chatbot di assistenza clienti memorizza nella cache la sua politica di 5.000 token e il messaggio del sistema di toni in modo che ogni messaggio dell'utente paghi solo il prezzo intero per la nuova domanda.
Un'app RAG (retrieval-augmented) memorizza nella cache un documento di riferimento di grandi dimensioni una volta, quindi risponde a molte domande al riguardo a una frazione del costo.
Un assistente di codifica memorizza nella cache il contenuto di una codebase o di un file di grandi dimensioni come prefisso fisso mentre lo sviluppatore pone successive domande di follow-up.
Un agente AI memorizza nella cache la sua lunga e crescente trascrizione dell'utilizzo dello strumento in modo che ogni nuovo passaggio non rifattura l'intera conversazione precedente.
Rischi e guardrail
L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.
Tabella di marcia per l'implementazione
Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
Benchmark in condizioni di carico e dati realistiche.
Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Caching quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Sicurezza rapida dell'intelligenza artificiale
Domande frequenti
What is Prompt Caching?
La memorizzazione nella cache immediata consente a un modello di intelligenza artificiale di riutilizzare il lavoro computazionale svolto su una porzione ripetuta di testo invece di rielaborarlo ogni volta. Riduce drasticamente i costi e la latenza quando le stesse lunghe istruzioni, documenti o esempi compaiono in una richiesta dopo l'altra.
Che cosa memorizza e riutilizza principalmente la memorizzazione nella cache dei prompt?
La memorizzazione nella cache salva gli stati di attenzione KV calcolati per un prefisso stabile in modo che non debbano essere ricalcolati ad ogni richiesta.
Perché un prefisso memorizzato nella cache deve corrispondere esattamente, token per token?
Poiché ogni token si occupa solo dei token precedenti, la modifica di un token iniziale invalida ogni stato che dipende da esso, rompendo la cache.
Quale scenario trae i maggiori vantaggi dalla memorizzazione nella cache dei prompt?
La memorizzazione nella cache dà i suoi frutti quando una porzione identica e di grandi dimensioni viene riutilizzata in molte richieste, come un prompt di sistema fisso o un documento condiviso.
All'incirca, quanto sono più economici gli hit della cache sui token di input con i principali fornitori?
I fornitori in genere fatturano l'input memorizzato nella cache con uno sconto di circa il 90% rispetto alla normale tariffa di input, il motivo principale per cui la memorizzazione nella cache consente di risparmiare denaro.
Dove dovrebbe essere posizionato il contenuto riutilizzabile per massimizzare i riscontri nella cache?
L'inserimento prima del contenuto stabile come prefisso e poi la modifica del contenuto consente di riutilizzare il prefisso memorizzato nella cache mentre vengono elaborati solo i nuovi token.