Kvíz spojený s průvodcem · Těžko úroveň

Vícehlavý kvíz latentní pozornosti

Prozkoumejte sdílenou latentní vyrovnávací paměť MLA, rekonstrukci nízké úrovně, absorpci projekce, cestu pozičního kódování a úspory inferenční paměti.

Související vodicí cestyVícehlavá latentní pozornost
Otázka 1 z 8

Jaký je hlavní problém, který má vícehlavá latentní pozornost snížit?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je hlavní problém, který má vícehlavá latentní pozornost snížit?
    • Náklady na paměť mezipaměti klíč–hodnota během odvození
    • Nedostatek tréninkových dat
    • Počet parametrů modelu
    • Velikost slovní zásoby tokenizeru
  2. Jak MLA zmenšuje KV cache?
    • Vymaže starší tokeny z mezipaměti
    • Místo úplných klíčů a hodnot na hlavu ukládá malý latentní vektor nízké úrovně
    • Na všechno používá 1bitové váhy
    • U některých tokenů zcela přeskakuje pozornost
  3. Který model poprvé představil Multi-Head Latent Attention?
    • GPT-2
    • BERT
    • DeepSeek-V2
    • LAMA 1
  4. Proč MLA potřebuje samostatnou „oddělenou“ cestu pro zabudování rotační polohy?
    • Protože pozice jsou pro pozornost irelevantní
    • Protože RoPE zdvojnásobuje slovní zásobu
    • Protože to zrychluje optimalizátor
    • Protože rotace nemůže být složena do absorbované projekce nahoru jako zbytek klíče
  5. Jak velké snížení paměti KV-cache zhruba ohlásilo DeepSeek-V2 z MLA ve srovnání se standardní vícehlavou pozorností?
    • přes 90 %
    • asi 5 %
    • přesně 50 %
    • Žádné snížení, pouze zvýšení rychlosti
  6. Jaká praktická výhoda vyplývá přímo z menší mezipaměti na tokeny MLA?
    • Eliminace potřeby jakéhokoli GPU
    • Větší velikosti dávek a delší kontexty na stejném hardwaru
    • Automatický překlad do všech jazyků
    • Odstranění provozu softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections