Gids-gekoppelde quiz · Moeilijk Niveau

Multi-head latente aandachtsquiz

Ontdek de gedeelde latente cache van MLA, reconstructie van lage rang, projectie-absorptie, pad voor positionele codering en besparingen op gevolgtrekkingsgeheugen.

Vraag 1 van 8

Wat is het voornaamste probleem dat Multi-Head Latente Aandacht moet verminderen?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het voornaamste probleem dat Multi-Head Latente Aandacht moet verminderen?
    • De geheugenkosten van de sleutelwaardecache tijdens inferentie
    • Schaarste aan trainingsdata
    • Het aantal modelparameters
    • Tokenizer woordenschatgrootte
  2. Hoe verkleint MLA de KV-cache?
    • Het verwijdert oudere tokens uit de cache
    • Het slaat een kleine latente vector van lage rang op in plaats van volledige sleutels en waarden per hoofd
    • Het gebruikt voor alles 1-bit-gewichten
    • Het slaat de aandacht volledig over op sommige tokens
  3. Welk model introduceerde voor het eerst latente aandacht met meerdere hoofden?
    • GPT-2
    • BERT
    • DeepSeek-V2
    • LLaMA 1
  4. Waarom heeft MLA een apart 'ontkoppeld' pad nodig voor inbedding van draaiposities?
    • Omdat posities niet relevant zijn voor aandacht
    • Omdat RoPE de woordenschat verdubbelt
    • Omdat het de optimalisatie versnelt
    • Omdat rotatie niet in de geabsorbeerde opwaartse projectie kan worden gevouwen zoals de rest van de sleutel dat wel kan
  5. Hoeveel KV-cache-geheugenreductie rapporteerde DeepSeek-V2 grofweg van MLA versus standaard multi-head aandacht?
    • Ruim 90%
    • Ongeveer 5%
    • Precies 50%
    • Geen reductie, alleen snelheidswinst
  6. Welk praktisch voordeel volgt rechtstreeks uit de kleinere cache per token van MLA?
    • Eliminatie van de noodzaak voor een GPU
    • Grotere batchgroottes voor gevolgtrekkingen en langere contexten op dezelfde hardware
    • Automatische vertaling in alle talen
    • Verwijdering van de softmax-bediening
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections