Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Többfejű látens figyelem kvíz
Explore MLA’s shared latent cache, low-rank reconstruction, projection absorption, positional-encoding path, and inference-memory savings.
kérdés 1 -ból 8
Mi az elsődleges probléma a többfejű látens figyelem csökkentésére?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi az elsődleges probléma a többfejű látens figyelem csökkentésére?
- A kulcsérték-gyorsítótár memóriaköltsége a következtetés során
- Képzési adatok szűkössége
- A modell paramétereinek száma
- Tokenizátor szókincs mérete
- Hogyan csökkenti az MLA a KV gyorsítótárat?
- Törli a régebbi tokeneket a gyorsítótárból
- Egy kis, alacsony rangú látens vektort tárol a teljes fejenkénti kulcsok és értékek helyett
- Mindenhez 1 bites súlyokat használ
- Néhány tokennél teljesen kihagyja a figyelmet
- Melyik modell vezette be először a Multi-Head Latent Attention funkciót?
- GPT-2
- BERT
- DeepSeek-V2
- LLAMA 1
- Miért van szüksége az MLA-nak külön „leválasztott” útvonalra a forgópozíciós beágyazáshoz?
- Mert a pozíciók irrelevánsak a figyelem szempontjából
- Mert a RoPE megduplázza a szókincset
- Mert felgyorsítja az optimalizálót
- Mert a forgatás nem hajtható be az elnyelt felfelé irányuló vetületbe, mint a kulcs többi része
- Körülbelül mennyi KV-cache memória csökkenést jelentett a DeepSeek-V2 az MLA-ból a hagyományos többfejes figyelemhez képest?
- több mint 90%
- kb 5%
- pontosan 50%
- Nincs csökkentés, csak sebességnövekedés
- Milyen gyakorlati előnyök származnak közvetlenül az MLA kisebb, tokenenkénti gyorsítótárából?
- A GPU szükségességének megszüntetése
- Nagyobb következtetési kötegméretek és hosszabb kontextusok ugyanazon a hardveren
- Automatikus fordítás minden nyelvre
- A softmax művelet eltávolítása
- What is the purpose of absorbing MLA up-projection weights into other projections?
- Remove positional information from every token
- Increase the size of the cached latent
- Avoid materializing full per-head keys and values during inference
- Replace attention with a recurrent network
- What positional information does MLA handle on a separate decoupled key path?
- Class labels from the training data
- Image segmentation maps
- The output vocabulary probabilities
- Rotary position embeddings that cannot be absorbed like the other key projections