Quiz collegato alla guida · Medio Livello
Quiz sulla cache KV
Esamina il riutilizzo della cache KV durante la decodifica autoregressiva, il carico di memoria, la condivisione di richieste multiple e i compromessi sull'allocazione delle pagine.
Domanda 1 di 8
Cosa memorizza la cache KV?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa memorizza la cache KV?
- I vettori chiave e valore calcolati per i token precedenti
- Le matrici dei pesi completi del modello
- La cronologia chat dell'utente come testo normale
- Le probabilità di output finale
- Quale problema risolve principalmente la cache KV?
- Migliora la grammatica del testo generato
- Evita di ricalcolare chiavi e valori per tutti i token precedenti ad ogni passaggio
- Aumenta il vocabolario del modello
- Crittografa la conversazione
- Qual è lo svantaggio principale della cache KV?
- Rende la generazione più lenta
- Riduce la qualità dell'output
- L'utilizzo della memoria cresce linearmente con la lunghezza del contesto
- Funziona solo su CPU
- Quale tecnica riduce la dimensione della cache KV condividendo chiavi e valori tra le teste di attenzione?
- Abbandono
- Ricerca del raggio
- Tokenizzazione
- Attenzione a query raggruppate o a più query
- Quali sono le due fasi di inferenza del trasformatore relative alla cache KV?
- Precompilare (elaborare il prompt) e decodificare (generare un token alla volta)
- Formazione e test
- Codifica e comprimi
- Carica e scarica
- Cosa fa PagedAttention di vLLM per la cache KV?
- Elimina la cache dopo ogni token
- Alloca la cache in blocchi non contigui per ridurre la frammentazione della memoria
- Converte la cache in testo
- Raddoppia il conteggio dei parametri del modello
- Perché il limite di memoria della cache KV può limitare quante richieste una GPU serve contemporaneamente?
- La cache memorizza tutti gli esempi di addestramento sulla GPU
- Ogni richiesta crea una nuova copia del modello
- Ogni sequenza attiva conserva i tensori chiave e valore che crescono con il contesto generato
- La cache memorizza solo il testo finale su disco
- Qual è un vantaggio della condivisione dei blocchi della cache KV tra richieste con un prefisso comune?
- Rende i prefissi non correlati identici
- Elimina la necessità di calcolare l'attenzione
- Garantisce una latenza più bassa in ogni carico di lavoro
- Può evitare di memorizzare lo stato del prefisso duplicato e ridurre l'uso di memoria