Útmutatóhoz kapcsolódó kvíz · Közepes Szint

KV gyorsítótár kvíz

Review KV-cache reuse during autoregressive decoding, memory pressure, multi-request sharing and paged allocation tradeoffs.

Kapcsolódó útmutató utakKv gyorsítótár
kérdés 1 -ból 8

Mit tárol a KV gyorsítótár?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit tárol a KV gyorsítótár?
    • Az előző tokenekhez kiszámított kulcs- és értékvektorok
    • A modell teljes súlyú mátrixai
    • A felhasználó csevegési előzményei egyszerű szövegként
    • A végső kimeneti valószínűségek
  2. Milyen problémát old meg elsősorban a KV gyorsítótár?
    • Javítja a generált szöveg nyelvtanát
    • Minden lépésben elkerüli az összes korábbi token kulcsának és értékének újraszámítását
    • Bővíti a modell szókincsét
    • Titkosítja a beszélgetést
  3. Mi a KV gyorsítótár fő hátránya?
    • Lelassítja a generációt
    • Csökkenti a kimeneti minőséget
    • Memóriahasználata lineárisan növekszik a környezet hosszával
    • Csak CPU-kon működik
  4. Melyik technika csökkenti a KV gyorsítótár méretét a kulcsok és értékek megosztásával a figyelemfejek között?
    • Lemorzsolódás
    • Sugárkeresés
    • Tokenizálás
    • Csoportos lekérdezés vagy többlekérdezés figyelem
  5. Mi a transzformátor következtetésének két fázisa a KV gyorsítótárhoz képest?
    • Előtöltés (a prompt feldolgozása) és dekódolás (egyszerre egy token létrehozása)
    • Képzés és tesztelés
    • Kódolás és tömörítés
    • Feltöltés és letöltés
  6. Mit tesz a vLLM PagedAttention a KV gyorsítótárral?
    • Minden token után törli a gyorsítótárat
    • A gyorsítótárat nem összefüggő blokkokban foglalja le a memória töredezettségének csökkentése érdekében
    • A gyorsítótárat szöveggé alakítja
    • Megduplázza a modell paramétereinek számát
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use