Quiz collegato alla guida · Difficile Livello

Quiz sull'attenzione latente a più teste

Esplora la cache latente condivisa di MLA, la ricostruzione di basso rango, l'assorbimento della proiezione, il percorso di codifica posizionale e il risparmio della memoria di inferenza.

Percorsi guida correlatiAttenzione latente multitesta
Domanda 1 di 8

Qual è il problema principale che l'attenzione latente multitesta è progettata per ridurre?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il problema principale che l'attenzione latente multitesta è progettata per ridurre?
    • Il costo della memoria della cache dei valori-chiave durante l'inferenza
    • Scarsità di dati sulla formazione
    • Il numero di parametri del modello
    • Dimensioni del vocabolario del tokenizzatore
  2. In che modo MLA riduce la cache KV?
    • Elimina i token più vecchi dalla cache
    • Memorizza un piccolo vettore latente di basso rango invece di chiavi e valori completi per testa
    • Utilizza pesi a 1 bit per tutto
    • Salta completamente l'attenzione su alcuni token
  3. Quale modello ha introdotto per primo l'attenzione latente multi-testa?
    • GPT-2
    • BERT
    • DeepSeek-V2
    • LLaMA 1
  4. Perché MLA necessita di un percorso separato "disaccoppiato" per gli incorporamenti di posizioni rotanti?
    • Perché le posizioni sono irrilevanti per l'attenzione
    • Perché RoPE raddoppia il vocabolario
    • Perché accelera l'ottimizzatore
    • Perché la rotazione non può essere ripiegata nella proiezione verso l'alto assorbita come il resto della chiave
  5. Approssimativamente quanta riduzione della memoria cache KV ha riportato DeepSeek-V2 da MLA rispetto all'attenzione multi-head standard?
    • Oltre il 90%
    • Circa il 5%
    • Esattamente il 50%
    • Nessuna riduzione, solo aumento di velocità
  6. Quale vantaggio pratico deriva direttamente dalla minore cache per token di MLA?
    • Eliminazione della necessità di qualsiasi GPU
    • Dimensioni batch di inferenza più grandi e contesti più lunghi sullo stesso hardware
    • Traduzione automatica in tutte le lingue
    • Rimozione dell'operazione softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections