Quiz collegato alla guida · Medio Livello
Quiz sull'ottimizzazione della cache KV
Controlla la crescita della cache KV, l'allocazione delle pagine, la condivisione di query raggruppate, le condizioni di riutilizzo dei prefissi, la quantizzazione e il dimensionamento della memoria in base al contesto e alla concorrenza.
Domanda 1 di 8
Cosa memorizza la cache KV e perché?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa memorizza la cache KV e perché?
- Chiavi e valori di attenzione calcolati in precedenza in modo che non vengano ricalcolati a ogni passaggio
- I dati di training del modello per la riqualificazione
- Password utente per l'autenticazione
- Solo l'output del testo finale
- Perché la cache KV può diventare un problema di memoria?
- Corrompe la GPU in modo permanente
- Cresce con la lunghezza della sequenza, la dimensione del batch e gli strati, talvolta superando il peso del modello
- Funziona solo su testi più brevi di 10 parole
- Duplica il sistema operativo
- Quale concetto di sistema operativo prende in prestito PagedAttention?
- Utilità di deframmentazione del disco
- Scansione antivirus
- Paginazione della memoria virtuale con blocchi di dimensione fissa
- Ridimensionamento della risoluzione dello schermo
- In che modo l'attenzione delle query raggruppate e delle query multiple riduce le dimensioni della cache KV?
- Eliminando il meccanismo dell'attenzione
- Memorizzando la cache come immagini
- Addestrandosi su meno dati
- Consentendo a molte intestazioni di query di condividere meno intestazioni chiave/valore
- Qual è uno dei vantaggi della condivisione dei prefissi nella cache KV?
- Le richieste con lo stesso prompt iniziale possono riutilizzare gli stessi blocchi memorizzati nella cache
- Crittografa il modello
- Rallenta ogni richiesta allo stesso modo
- Elimina la necessità di attenzione
- Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
- It doubles the raw bytes
- It roughly halves the raw bytes, before metadata and other runtime memory
- It removes the key and value tensors entirely
- It guarantees twice the inference speed
- With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
- It stays constant because model weights are fixed
- It roughly doubles
- Raw KV storage grows to roughly four times its previous size
- It becomes one quarter as large
- What must generally match for two requests to reuse the same cached prefix blocks?
- Only the user account name
- The requests must have different model weights
- The prompts must have the same character count but different tokens
- Their tokenized prefix and relevant model/cache configuration must be compatible