Útmutatóhoz kapcsolódó kvíz · Kemény Szint

PagedAttention és vLLM kvíz

Test PagedAttention KV blocks, logical-to-physical mapping, and sharing, including the distinction between cache memory savings and total model storage.

Kapcsolódó útmutató utakPagedatention és Vllm
kérdés 1 -ból 8

Mit tárol a „KV gyorsítótár” a szöveggenerálás során?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit tárol a „KV gyorsítótár” a szöveggenerálás során?
    • A modell edzési adatai
    • A felhasználó bejelentkezési adatai
    • A múltbeli tokenek kulcs- és értékvektorai, így az új tokenek is felvehetik őket
    • A modell súlyainak tömörített másolata
  2. Milyen operációs rendszer-koncepció ihlette a PagedAttentiont?
    • Lemeztöredezettség-mentesítő eszközök
    • Virtuális memória lapozás
    • Fájltömörítés
    • CPU ág előrejelzése
  3. Milyen problémát old meg a PagedAttention a hagyományos KV gyorsítótár-kiosztással?
    • Lassú internetkapcsolatok
    • Edzési adatok hiánya
    • Gyenge jelszavas biztonság
    • Memóriapazarlás a nagy összefüggő blokkok minden egyes kéréshez való lefoglalásából
  4. Hogyan teszi lehetővé a PagedAttention több kimenetnek a memória megosztását egy közös prompthoz?
    • Különböző sorozatok ugyanazokra a fizikai oldalakra mutatnak írás-másolás révén
    • Az első használat után törli a promptot
    • A promptot a lemezen tárolja
    • Minden kimenethez újratanítja a modellt
  5. Hol fejlesztették ki eredetileg a vLLM-et és a PagedAttentiont?
    • Egy 1990-es évekbeli akadémiai labor
    • UC Berkeley (megjelent: 2023)
    • Egy hardvergyártó marketingcsapata
    • Névtelen online fórum
  6. Mi a vLLM fő gyakorlati haszna az LLM-t kiszolgáló személyek számára?
    • Nagyobb modellpontosság a benchmarkokon
    • Automatikus adatcímkézés
    • Ingyenes GPU hardver
    • Nagyobb átviteli sebesség és több egyidejű kérés GPU-nként
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence