Kvíz spojený s průvodcem · Těžko úroveň

PagedAttention a vLLM kvíz

Testujte PagedAttention KV bloky, logické a fyzické mapování a sdílení, včetně rozlišení mezi úsporou paměti cache a celkovým úložištěm modelu.

Související vodicí cestyPagedating And Vllm
Otázka 1 z 8

Co ukládá 'KV cache' během generování textu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co ukládá 'KV cache' během generování textu?
    • Tréninková data modelu
    • Přihlašovací údaje uživatele
    • Klíčové a hodnotové vektory pro minulé tokeny, aby se jim nové tokeny mohly věnovat
    • Komprimovaná kopie závaží modelu
  2. Jaký koncept operačního systému inspiroval PagedAttention?
    • Nástroje pro defragmentaci disku
    • Stránkování virtuální paměti
    • Komprese souborů
    • Predikce větve CPU
  3. Jaký problém s tradiční alokací KV cache řeší PagedAttention?
    • Pomalé připojení k internetu
    • Nedostatek tréninkových dat
    • Slabé zabezpečení heslem
    • Plýtvání pamětí z rezervování velkých souvislých bloků pro každý požadavek
  4. Jak PagedAttention umožňuje více výstupům sdílet paměť pro společnou výzvu?
    • Různé sekvence ukazují na stejné fyzické stránky prostřednictvím kopírování při zápisu
    • Po prvním použití smaže výzvu
    • Uloží výzvu na disk
    • Přeškolí model pro každý výstup
  5. Kde byly původně vyvinuty vLLM a PagedAttention?
    • Akademická laboratoř z devadesátých let
    • UC Berkeley (zveřejněno 2023)
    • Marketingový tým dodavatele hardwaru
    • Anonymní online fórum
  6. Jaký je hlavní praktický přínos vLLM pro někoho, kdo slouží LLM?
    • Větší přesnost modelu na benchmarcích
    • Automatické označování dat
    • Hardware GPU zdarma
    • Vyšší propustnost a více souběžných požadavků na GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence