Quiz collegato alla guida · Medio Livello

Quiz sull'ottimizzazione della cache KV

Controlla la crescita della cache KV, l'allocazione delle pagine, la condivisione di query raggruppate, le condizioni di riutilizzo dei prefissi, la quantizzazione e il dimensionamento della memoria in base al contesto e alla concorrenza.

Percorsi guida correlatiOttimizzazione della cache Kv
Domanda 1 di 8

Cosa memorizza la cache KV e perché?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa memorizza la cache KV e perché?
    • Chiavi e valori di attenzione calcolati in precedenza in modo che non vengano ricalcolati a ogni passaggio
    • I dati di training del modello per la riqualificazione
    • Password utente per l'autenticazione
    • Solo l'output del testo finale
  2. Perché la cache KV può diventare un problema di memoria?
    • Corrompe la GPU in modo permanente
    • Cresce con la lunghezza della sequenza, la dimensione del batch e gli strati, talvolta superando il peso del modello
    • Funziona solo su testi più brevi di 10 parole
    • Duplica il sistema operativo
  3. Quale concetto di sistema operativo prende in prestito PagedAttention?
    • Utilità di deframmentazione del disco
    • Scansione antivirus
    • Paginazione della memoria virtuale con blocchi di dimensione fissa
    • Ridimensionamento della risoluzione dello schermo
  4. In che modo l'attenzione delle query raggruppate e delle query multiple riduce le dimensioni della cache KV?
    • Eliminando il meccanismo dell'attenzione
    • Memorizzando la cache come immagini
    • Addestrandosi su meno dati
    • Consentendo a molte intestazioni di query di condividere meno intestazioni chiave/valore
  5. Qual è uno dei vantaggi della condivisione dei prefissi nella cache KV?
    • Le richieste con lo stesso prompt iniziale possono riutilizzare gli stessi blocchi memorizzati nella cache
    • Crittografa il modello
    • Rallenta ogni richiesta allo stesso modo
    • Elimina la necessità di attenzione
  6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
    • It doubles the raw bytes
    • It roughly halves the raw bytes, before metadata and other runtime memory
    • It removes the key and value tensors entirely
    • It guarantees twice the inference speed
  7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
    • It stays constant because model weights are fixed
    • It roughly doubles
    • Raw KV storage grows to roughly four times its previous size
    • It becomes one quarter as large
  8. What must generally match for two requests to reuse the same cached prefix blocks?
    • Only the user account name
    • The requests must have different model weights
    • The prompts must have the same character count but different tokens
    • Their tokenized prefix and relevant model/cache configuration must be compatible