Útmutatóhoz kapcsolódó kvíz · Kemény Szint
PagedAttention és vLLM kvíz
Test PagedAttention KV blocks, logical-to-physical mapping, and sharing, including the distinction between cache memory savings and total model storage.
kérdés 1 -ból 8
Mit tárol a „KV gyorsítótár” a szöveggenerálás során?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit tárol a „KV gyorsítótár” a szöveggenerálás során?
- A modell edzési adatai
- A felhasználó bejelentkezési adatai
- A múltbeli tokenek kulcs- és értékvektorai, így az új tokenek is felvehetik őket
- A modell súlyainak tömörített másolata
- Milyen operációs rendszer-koncepció ihlette a PagedAttentiont?
- Lemeztöredezettség-mentesítő eszközök
- Virtuális memória lapozás
- Fájltömörítés
- CPU ág előrejelzése
- Milyen problémát old meg a PagedAttention a hagyományos KV gyorsítótár-kiosztással?
- Lassú internetkapcsolatok
- Edzési adatok hiánya
- Gyenge jelszavas biztonság
- Memóriapazarlás a nagy összefüggő blokkok minden egyes kéréshez való lefoglalásából
- Hogyan teszi lehetővé a PagedAttention több kimenetnek a memória megosztását egy közös prompthoz?
- Különböző sorozatok ugyanazokra a fizikai oldalakra mutatnak írás-másolás révén
- Az első használat után törli a promptot
- A promptot a lemezen tárolja
- Minden kimenethez újratanítja a modellt
- Hol fejlesztették ki eredetileg a vLLM-et és a PagedAttentiont?
- Egy 1990-es évekbeli akadémiai labor
- UC Berkeley (megjelent: 2023)
- Egy hardvergyártó marketingcsapata
- Névtelen online fórum
- Mi a vLLM fő gyakorlati haszna az LLM-t kiszolgáló személyek számára?
- Nagyobb modellpontosság a benchmarkokon
- Automatikus adatcímkézés
- Ingyenes GPU hardver
- Nagyobb átviteli sebesség és több egyidejű kérés GPU-nként
- A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
- The sequence’s block table mapping logical blocks to physical blocks
- The model’s class-label list
- The learning-rate scheduler
- A requirement that every block follow block 2 contiguously
- A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
- Paging guarantees every allocated byte contains a token
- The entire model must be copied for each unused slot
- Unused slots can remain in that final block despite reduced allocation fragmentation
- The block table cannot represent a partial sequence