Útmutatóhoz kapcsolódó kvíz · Közepes Szint
KV gyorsítótár optimalizálási kvíz
Checks KV-cache growth, paged allocation, grouped query sharing, prefix reuse conditions, quantization, and memory scaling with context and concurrency.
kérdés 1 -ból 8
Mit tárol a KV gyorsítótár és miért?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit tárol a KV gyorsítótár és miért?
- Korábban kiszámított figyelemkulcsok és értékek, így nem kerül újraszámításra minden lépésben
- A modell edzési adatai az átképzéshez
- Felhasználói jelszavak a hitelesítéshez
- Csak a végső szövegkimenet
- Miért válhat memóriaproblémává a KV gyorsítótár?
- Ez végleg tönkreteszi a GPU-t
- Sorozathosszal, kötegmérettel és rétegekkel nő, néha meghaladja a modell súlyát
- Csak 10 szónál rövidebb szövegeknél működik
- Megkettőzi az operációs rendszert
- Milyen operációs rendszer koncepciót kölcsönöz a PagedAttention?
- Lemeztöredezettség-mentesítő segédprogramok
- Víruskereső
- Virtuális memória lapozás rögzített méretű blokkokkal
- Képernyőfelbontás skálázása
- Hogyan csökkenti a csoportos lekérdezés és a többlekérdezés figyelem a KV gyorsítótár méretét?
- A figyelemmechanizmus törlésével
- A gyorsítótár képként való tárolásával
- Kevesebb adatra oktatva
- Ha hagyja, hogy sok lekérdezési fej kevesebb kulcs-/értékfejet osszon meg
- Milyen előnyökkel jár az előtagok megosztása a KV gyorsítótárban?
- Az ugyanazt az indító promptot tartalmazó kérések újra felhasználhatják ugyanazokat a gyorsítótárazott blokkokat
- Titkosítja a modellt
- Minden kérést egyformán lelassít
- Megszünteti a figyelem szükségességét
- Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
- It doubles the raw bytes
- It roughly halves the raw bytes, before metadata and other runtime memory
- It removes the key and value tensors entirely
- It guarantees twice the inference speed
- With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
- It stays constant because model weights are fixed
- It roughly doubles
- Raw KV storage grows to roughly four times its previous size
- It becomes one quarter as large
- What must generally match for two requests to reuse the same cached prefix blocks?
- Only the user account name
- The requests must have different model weights
- The prompts must have the same character count but different tokens
- Their tokenized prefix and relevant model/cache configuration must be compatible