Quiz collegato alla guida · Difficile Livello

PagedAttention e quiz vLLM

Testare i blocchi KV di PagedAttention, la mappatura da logica a fisica e la condivisione, inclusa la distinzione tra risparmio di memoria cache e archiviazione totale del modello.

Percorsi guida correlatiPagedattenzione e Vllm
Domanda 1 di 8

Cosa memorizza la "cache KV" durante la generazione del testo?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa memorizza la "cache KV" durante la generazione del testo?
    • I dati di training del modello
    • Le credenziali di accesso dell'utente
    • I vettori chiave e valore per i token precedenti in modo che i nuovi token possano occuparsene
    • Una copia compressa dei pesi del modello
  2. Quale concetto di sistema operativo ha ispirato PagedAttention?
    • Strumenti di deframmentazione del disco
    • Paginazione della memoria virtuale
    • Compressione dei file
    • Previsione del ramo della CPU
  3. Quale problema con l'allocazione della cache KV tradizionale risolve PagedAttention?
    • Connessioni Internet lente
    • Mancanza di dati di addestramento
    • Sicurezza debole della password
    • Spreco di memoria derivante dalla prenotazione di grandi blocchi contigui per ogni richiesta
  4. In che modo PagedAttention consente a più output di condividere la memoria per un prompt comune?
    • Sequenze diverse puntano alle stesse pagine fisiche tramite copy-on-write
    • Elimina il prompt dopo il primo utilizzo
    • Memorizza il prompt su disco
    • Riqualifica il modello per ciascun output
  5. Dove sono stati originariamente sviluppati vLLM e PagedAttention?
    • Un laboratorio accademico degli anni '90
    • UC Berkeley (pubblicato nel 2023)
    • Il team di marketing di un fornitore di hardware
    • Un forum online anonimo
  6. Qual è il principale vantaggio pratico di vLLM per qualcuno che serve un LLM?
    • Maggiore precisione del modello sui benchmark
    • Etichettatura automatica dei dati
    • Hardware GPU gratuito
    • Throughput più elevato e più richieste simultanee per GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence