Kvíz spojený s průvodcem · Těžko úroveň
Vícehlavý kvíz latentní pozornosti
Prozkoumejte sdílenou latentní vyrovnávací paměť MLA, rekonstrukci nízké úrovně, absorpci projekce, cestu pozičního kódování a úspory inferenční paměti.
Otázka 1 z 8
Jaký je hlavní problém, který má vícehlavá latentní pozornost snížit?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je hlavní problém, který má vícehlavá latentní pozornost snížit?
- Náklady na paměť mezipaměti klíč–hodnota během odvození
- Nedostatek tréninkových dat
- Počet parametrů modelu
- Velikost slovní zásoby tokenizeru
- Jak MLA zmenšuje KV cache?
- Vymaže starší tokeny z mezipaměti
- Místo úplných klíčů a hodnot na hlavu ukládá malý latentní vektor nízké úrovně
- Na všechno používá 1bitové váhy
- U některých tokenů zcela přeskakuje pozornost
- Který model poprvé představil Multi-Head Latent Attention?
- GPT-2
- BERT
- DeepSeek-V2
- LAMA 1
- Proč MLA potřebuje samostatnou „oddělenou“ cestu pro zabudování rotační polohy?
- Protože pozice jsou pro pozornost irelevantní
- Protože RoPE zdvojnásobuje slovní zásobu
- Protože to zrychluje optimalizátor
- Protože rotace nemůže být složena do absorbované projekce nahoru jako zbytek klíče
- Jak velké snížení paměti KV-cache zhruba ohlásilo DeepSeek-V2 z MLA ve srovnání se standardní vícehlavou pozorností?
- přes 90 %
- asi 5 %
- přesně 50 %
- Žádné snížení, pouze zvýšení rychlosti
- Jaká praktická výhoda vyplývá přímo z menší mezipaměti na tokeny MLA?
- Eliminace potřeby jakéhokoli GPU
- Větší velikosti dávek a delší kontexty na stejném hardwaru
- Automatický překlad do všech jazyků
- Odstranění provozu softmax
- What is the purpose of absorbing MLA up-projection weights into other projections?
- Remove positional information from every token
- Increase the size of the cached latent
- Avoid materializing full per-head keys and values during inference
- Replace attention with a recurrent network
- What positional information does MLA handle on a separate decoupled key path?
- Class labels from the training data
- Image segmentation maps
- The output vocabulary probabilities
- Rotary position embeddings that cannot be absorbed like the other key projections