Gids-gekoppelde quiz · Moeilijk Niveau
Multi-head latente aandachtsquiz
Ontdek de gedeelde latente cache van MLA, reconstructie van lage rang, projectie-absorptie, pad voor positionele codering en besparingen op gevolgtrekkingsgeheugen.
Vraag 1 van 8
Wat is het voornaamste probleem dat Multi-Head Latente Aandacht moet verminderen?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het voornaamste probleem dat Multi-Head Latente Aandacht moet verminderen?
- De geheugenkosten van de sleutelwaardecache tijdens inferentie
- Schaarste aan trainingsdata
- Het aantal modelparameters
- Tokenizer woordenschatgrootte
- Hoe verkleint MLA de KV-cache?
- Het verwijdert oudere tokens uit de cache
- Het slaat een kleine latente vector van lage rang op in plaats van volledige sleutels en waarden per hoofd
- Het gebruikt voor alles 1-bit-gewichten
- Het slaat de aandacht volledig over op sommige tokens
- Welk model introduceerde voor het eerst latente aandacht met meerdere hoofden?
- GPT-2
- BERT
- DeepSeek-V2
- LLaMA 1
- Waarom heeft MLA een apart 'ontkoppeld' pad nodig voor inbedding van draaiposities?
- Omdat posities niet relevant zijn voor aandacht
- Omdat RoPE de woordenschat verdubbelt
- Omdat het de optimalisatie versnelt
- Omdat rotatie niet in de geabsorbeerde opwaartse projectie kan worden gevouwen zoals de rest van de sleutel dat wel kan
- Hoeveel KV-cache-geheugenreductie rapporteerde DeepSeek-V2 grofweg van MLA versus standaard multi-head aandacht?
- Ruim 90%
- Ongeveer 5%
- Precies 50%
- Geen reductie, alleen snelheidswinst
- Welk praktisch voordeel volgt rechtstreeks uit de kleinere cache per token van MLA?
- Eliminatie van de noodzaak voor een GPU
- Grotere batchgroottes voor gevolgtrekkingen en langere contexten op dezelfde hardware
- Automatische vertaling in alle talen
- Verwijdering van de softmax-bediening
- What is the purpose of absorbing MLA up-projection weights into other projections?
- Remove positional information from every token
- Increase the size of the cached latent
- Avoid materializing full per-head keys and values during inference
- Replace attention with a recurrent network
- What positional information does MLA handle on a separate decoupled key path?
- Class labels from the training data
- Image segmentation maps
- The output vocabulary probabilities
- Rotary position embeddings that cannot be absorbed like the other key projections