Test legat de ghid · Greu Nivel

PagedAttention și vLLM Quiz

Test PagedAttention KV blocks, logical-to-physical mapping, and sharing, including the distinction between cache memory savings and total model storage.

Căi de ghidare aferentePagedattention și Vllm
Întrebare 1 de 8

Ce stochează „KV cache” în timpul generării textului?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce stochează „KV cache” în timpul generării textului?
    • Datele de antrenament ale modelului
    • Datele de conectare ale utilizatorului
    • Vectorii cheie și valori pentru jetoanele anterioare, astfel încât jetoanele noi să le poată ocupa
    • O copie comprimată a greutăților modelului
  2. Ce concept de sistem de operare a inspirat PagedAttention?
    • Instrumente de defragmentare a discurilor
    • Paginare în memorie virtuală
    • Comprimarea fișierelor
    • Predicția ramurilor CPU
  3. Ce problemă cu alocarea tradițională a memoriei cache KV rezolvă PagedAttention?
    • Conexiuni lente la internet
    • Lipsa datelor de antrenament
    • Securitate slabă a parolei
    • Deșeuri de memorie din rezervarea de blocuri mari învecinate pentru fiecare solicitare
  4. Cum permite PagedAttention mai multe ieșiri să partajeze memoria pentru un prompt comun?
    • Secvențe diferite indică aceleași pagini fizice prin copiere la scriere
    • Acesta șterge promptul după prima utilizare
    • Acesta stochează promptul pe disc
    • Reantrenează modelul pentru fiecare ieșire
  5. Unde au fost dezvoltate inițial vLLM și PagedAttention?
    • Un laborator academic din anii 1990
    • UC Berkeley (publicat în 2023)
    • Echipa de marketing a unui furnizor de hardware
    • Un forum online anonim
  6. Care este principalul beneficiu practic al vLLM pentru cineva care deservește un LLM?
    • Precizie mai mare a modelului la benchmark-uri
    • Etichetarea automată a datelor
    • Hardware GPU gratuit
    • Debit mai mare și mai multe solicitări simultane pe GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence