Quiz collegato alla guida · Difficile Livello
PagedAttention e quiz vLLM
Testare i blocchi KV di PagedAttention, la mappatura da logica a fisica e la condivisione, inclusa la distinzione tra risparmio di memoria cache e archiviazione totale del modello.
Domanda 1 di 8
Cosa memorizza la "cache KV" durante la generazione del testo?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa memorizza la "cache KV" durante la generazione del testo?
- I dati di training del modello
- Le credenziali di accesso dell'utente
- I vettori chiave e valore per i token precedenti in modo che i nuovi token possano occuparsene
- Una copia compressa dei pesi del modello
- Quale concetto di sistema operativo ha ispirato PagedAttention?
- Strumenti di deframmentazione del disco
- Paginazione della memoria virtuale
- Compressione dei file
- Previsione del ramo della CPU
- Quale problema con l'allocazione della cache KV tradizionale risolve PagedAttention?
- Connessioni Internet lente
- Mancanza di dati di addestramento
- Sicurezza debole della password
- Spreco di memoria derivante dalla prenotazione di grandi blocchi contigui per ogni richiesta
- In che modo PagedAttention consente a più output di condividere la memoria per un prompt comune?
- Sequenze diverse puntano alle stesse pagine fisiche tramite copy-on-write
- Elimina il prompt dopo il primo utilizzo
- Memorizza il prompt su disco
- Riqualifica il modello per ciascun output
- Dove sono stati originariamente sviluppati vLLM e PagedAttention?
- Un laboratorio accademico degli anni '90
- UC Berkeley (pubblicato nel 2023)
- Il team di marketing di un fornitore di hardware
- Un forum online anonimo
- Qual è il principale vantaggio pratico di vLLM per qualcuno che serve un LLM?
- Maggiore precisione del modello sui benchmark
- Etichettatura automatica dei dati
- Hardware GPU gratuito
- Throughput più elevato e più richieste simultanee per GPU
- A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
- The sequence’s block table mapping logical blocks to physical blocks
- The model’s class-label list
- The learning-rate scheduler
- A requirement that every block follow block 2 contiguously
- A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
- Paging guarantees every allocated byte contains a token
- The entire model must be copied for each unused slot
- Unused slots can remain in that final block despite reduced allocation fragmentation
- The block table cannot represent a partial sequence