Kvíz spojený s průvodcem · Těžko úroveň
PagedAttention a vLLM kvíz
Testujte PagedAttention KV bloky, logické a fyzické mapování a sdílení, včetně rozlišení mezi úsporou paměti cache a celkovým úložištěm modelu.
Otázka 1 z 8
Co ukládá 'KV cache' během generování textu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co ukládá 'KV cache' během generování textu?
- Tréninková data modelu
- Přihlašovací údaje uživatele
- Klíčové a hodnotové vektory pro minulé tokeny, aby se jim nové tokeny mohly věnovat
- Komprimovaná kopie závaží modelu
- Jaký koncept operačního systému inspiroval PagedAttention?
- Nástroje pro defragmentaci disku
- Stránkování virtuální paměti
- Komprese souborů
- Predikce větve CPU
- Jaký problém s tradiční alokací KV cache řeší PagedAttention?
- Pomalé připojení k internetu
- Nedostatek tréninkových dat
- Slabé zabezpečení heslem
- Plýtvání pamětí z rezervování velkých souvislých bloků pro každý požadavek
- Jak PagedAttention umožňuje více výstupům sdílet paměť pro společnou výzvu?
- Různé sekvence ukazují na stejné fyzické stránky prostřednictvím kopírování při zápisu
- Po prvním použití smaže výzvu
- Uloží výzvu na disk
- Přeškolí model pro každý výstup
- Kde byly původně vyvinuty vLLM a PagedAttention?
- Akademická laboratoř z devadesátých let
- UC Berkeley (zveřejněno 2023)
- Marketingový tým dodavatele hardwaru
- Anonymní online fórum
- Jaký je hlavní praktický přínos vLLM pro někoho, kdo slouží LLM?
- Větší přesnost modelu na benchmarcích
- Automatické označování dat
- Hardware GPU zdarma
- Vyšší propustnost a více souběžných požadavků na GPU
- A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
- The sequence’s block table mapping logical blocks to physical blocks
- The model’s class-label list
- The learning-rate scheduler
- A requirement that every block follow block 2 contiguously
- A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
- Paging guarantees every allocated byte contains a token
- The entire model must be copied for each unused slot
- Unused slots can remain in that final block despite reduced allocation fragmentation
- The block table cannot represent a partial sequence