Útmutatóhoz kapcsolódó kvíz · Közepes Szint

KV gyorsítótár optimalizálási kvíz

Checks KV-cache growth, paged allocation, grouped query sharing, prefix reuse conditions, quantization, and memory scaling with context and concurrency.

Kapcsolódó útmutató utakKv gyorsítótár optimalizálása
kérdés 1 -ból 8

Mit tárol a KV gyorsítótár és miért?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit tárol a KV gyorsítótár és miért?
    • Korábban kiszámított figyelemkulcsok és értékek, így nem kerül újraszámításra minden lépésben
    • A modell edzési adatai az átképzéshez
    • Felhasználói jelszavak a hitelesítéshez
    • Csak a végső szövegkimenet
  2. Miért válhat memóriaproblémává a KV gyorsítótár?
    • Ez végleg tönkreteszi a GPU-t
    • Sorozathosszal, kötegmérettel és rétegekkel nő, néha meghaladja a modell súlyát
    • Csak 10 szónál rövidebb szövegeknél működik
    • Megkettőzi az operációs rendszert
  3. Milyen operációs rendszer koncepciót kölcsönöz a PagedAttention?
    • Lemeztöredezettség-mentesítő segédprogramok
    • Víruskereső
    • Virtuális memória lapozás rögzített méretű blokkokkal
    • Képernyőfelbontás skálázása
  4. Hogyan csökkenti a csoportos lekérdezés és a többlekérdezés figyelem a KV gyorsítótár méretét?
    • A figyelemmechanizmus törlésével
    • A gyorsítótár képként való tárolásával
    • Kevesebb adatra oktatva
    • Ha hagyja, hogy sok lekérdezési fej kevesebb kulcs-/értékfejet osszon meg
  5. Milyen előnyökkel jár az előtagok megosztása a KV gyorsítótárban?
    • Az ugyanazt az indító promptot tartalmazó kérések újra felhasználhatják ugyanazokat a gyorsítótárazott blokkokat
    • Titkosítja a modellt
    • Minden kérést egyformán lelassít
    • Megszünteti a figyelem szükségességét
  6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
    • It doubles the raw bytes
    • It roughly halves the raw bytes, before metadata and other runtime memory
    • It removes the key and value tensors entirely
    • It guarantees twice the inference speed
  7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
    • It stays constant because model weights are fixed
    • It roughly doubles
    • Raw KV storage grows to roughly four times its previous size
    • It becomes one quarter as large
  8. What must generally match for two requests to reuse the same cached prefix blocks?
    • Only the user account name
    • The requests must have different model weights
    • The prompts must have the same character count but different tokens
    • Their tokenized prefix and relevant model/cache configuration must be compatible