Útmutatóhoz kapcsolódó kvíz · Közepes Szint
KV gyorsítótár kvíz
Review KV-cache reuse during autoregressive decoding, memory pressure, multi-request sharing and paged allocation tradeoffs.
kérdés 1 -ból 8
Mit tárol a KV gyorsítótár?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit tárol a KV gyorsítótár?
- Az előző tokenekhez kiszámított kulcs- és értékvektorok
- A modell teljes súlyú mátrixai
- A felhasználó csevegési előzményei egyszerű szövegként
- A végső kimeneti valószínűségek
- Milyen problémát old meg elsősorban a KV gyorsítótár?
- Javítja a generált szöveg nyelvtanát
- Minden lépésben elkerüli az összes korábbi token kulcsának és értékének újraszámítását
- Bővíti a modell szókincsét
- Titkosítja a beszélgetést
- Mi a KV gyorsítótár fő hátránya?
- Lelassítja a generációt
- Csökkenti a kimeneti minőséget
- Memóriahasználata lineárisan növekszik a környezet hosszával
- Csak CPU-kon működik
- Melyik technika csökkenti a KV gyorsítótár méretét a kulcsok és értékek megosztásával a figyelemfejek között?
- Lemorzsolódás
- Sugárkeresés
- Tokenizálás
- Csoportos lekérdezés vagy többlekérdezés figyelem
- Mi a transzformátor következtetésének két fázisa a KV gyorsítótárhoz képest?
- Előtöltés (a prompt feldolgozása) és dekódolás (egyszerre egy token létrehozása)
- Képzés és tesztelés
- Kódolás és tömörítés
- Feltöltés és letöltés
- Mit tesz a vLLM PagedAttention a KV gyorsítótárral?
- Minden token után törli a gyorsítótárat
- A gyorsítótárat nem összefüggő blokkokban foglalja le a memória töredezettségének csökkentése érdekében
- A gyorsítótárat szöveggé alakítja
- Megduplázza a modell paramétereinek számát
- Why can KV-cache memory limit how many requests a GPU serves concurrently?
- The cache stores all training examples on the GPU
- Each request creates a new model copy
- Each active sequence retains key and value tensors that grow with its generated context
- The cache stores only final text on disk
- What is one benefit of sharing KV-cache blocks among requests with a common prefix?
- It makes unrelated prefixes identical
- It removes the need to compute attention
- It guarantees lower latency in every workload
- It can avoid storing duplicate prefix state and reduce memory use