Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Többfejű látens figyelem kvíz

Explore MLA’s shared latent cache, low-rank reconstruction, projection absorption, positional-encoding path, and inference-memory savings.

Kapcsolódó útmutató utakTöbbfejes látens figyelem
kérdés 1 -ból 8

Mi az elsődleges probléma a többfejű látens figyelem csökkentésére?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi az elsődleges probléma a többfejű látens figyelem csökkentésére?
    • A kulcsérték-gyorsítótár memóriaköltsége a következtetés során
    • Képzési adatok szűkössége
    • A modell paramétereinek száma
    • Tokenizátor szókincs mérete
  2. Hogyan csökkenti az MLA a KV gyorsítótárat?
    • Törli a régebbi tokeneket a gyorsítótárból
    • Egy kis, alacsony rangú látens vektort tárol a teljes fejenkénti kulcsok és értékek helyett
    • Mindenhez 1 bites súlyokat használ
    • Néhány tokennél teljesen kihagyja a figyelmet
  3. Melyik modell vezette be először a Multi-Head Latent Attention funkciót?
    • GPT-2
    • BERT
    • DeepSeek-V2
    • LLAMA 1
  4. Miért van szüksége az MLA-nak külön „leválasztott” útvonalra a forgópozíciós beágyazáshoz?
    • Mert a pozíciók irrelevánsak a figyelem szempontjából
    • Mert a RoPE megduplázza a szókincset
    • Mert felgyorsítja az optimalizálót
    • Mert a forgatás nem hajtható be az elnyelt felfelé irányuló vetületbe, mint a kulcs többi része
  5. Körülbelül mennyi KV-cache memória csökkenést jelentett a DeepSeek-V2 az MLA-ból a hagyományos többfejes figyelemhez képest?
    • több mint 90%
    • kb 5%
    • pontosan 50%
    • Nincs csökkentés, csak sebességnövekedés
  6. Milyen gyakorlati előnyök származnak közvetlenül az MLA kisebb, tokenenkénti gyorsítótárából?
    • A GPU szükségességének megszüntetése
    • Nagyobb következtetési kötegméretek és hosszabb kontextusok ugyanazon a hardveren
    • Automatikus fordítás minden nyelvre
    • A softmax művelet eltávolítása
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections