Quiz collegato alla guida · Medio Livello

Quiz sulla cache KV

Esamina il riutilizzo della cache KV durante la decodifica autoregressiva, il carico di memoria, la condivisione di richieste multiple e i compromessi sull'allocazione delle pagine.

Percorsi guida correlatiKv Cache
Domanda 1 di 8

Cosa memorizza la cache KV?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa memorizza la cache KV?
    • I vettori chiave e valore calcolati per i token precedenti
    • Le matrici dei pesi completi del modello
    • La cronologia chat dell'utente come testo normale
    • Le probabilità di output finale
  2. Quale problema risolve principalmente la cache KV?
    • Migliora la grammatica del testo generato
    • Evita di ricalcolare chiavi e valori per tutti i token precedenti ad ogni passaggio
    • Aumenta il vocabolario del modello
    • Crittografa la conversazione
  3. Qual è lo svantaggio principale della cache KV?
    • Rende la generazione più lenta
    • Riduce la qualità dell'output
    • L'utilizzo della memoria cresce linearmente con la lunghezza del contesto
    • Funziona solo su CPU
  4. Quale tecnica riduce la dimensione della cache KV condividendo chiavi e valori tra le teste di attenzione?
    • Abbandono
    • Ricerca del raggio
    • Tokenizzazione
    • Attenzione a query raggruppate o a più query
  5. Quali sono le due fasi di inferenza del trasformatore relative alla cache KV?
    • Precompilare (elaborare il prompt) e decodificare (generare un token alla volta)
    • Formazione e test
    • Codifica e comprimi
    • Carica e scarica
  6. Cosa fa PagedAttention di vLLM per la cache KV?
    • Elimina la cache dopo ogni token
    • Alloca la cache in blocchi non contigui per ridurre la frammentazione della memoria
    • Converte la cache in testo
    • Raddoppia il conteggio dei parametri del modello
  7. Perché il limite di memoria della cache KV può limitare quante richieste una GPU serve contemporaneamente?
    • La cache memorizza tutti gli esempi di addestramento sulla GPU
    • Ogni richiesta crea una nuova copia del modello
    • Ogni sequenza attiva conserva i tensori chiave e valore che crescono con il contesto generato
    • La cache memorizza solo il testo finale su disco
  8. Qual è un vantaggio della condivisione dei blocchi della cache KV tra richieste con un prefisso comune?
    • Rende i prefissi non correlati identici
    • Elimina la necessità di calcolare l'attenzione
    • Garantisce una latenza più bassa in ogni carico di lavoro
    • Può evitare di memorizzare lo stato del prefisso duplicato e ridurre l'uso di memoria