Quiz collegato alla guida · Difficile Livello
Quiz sull'attenzione latente a più teste
Esplora la cache latente condivisa di MLA, la ricostruzione di basso rango, l'assorbimento della proiezione, il percorso di codifica posizionale e il risparmio della memoria di inferenza.
Domanda 1 di 8
Qual è il problema principale che l'attenzione latente multitesta è progettata per ridurre?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è il problema principale che l'attenzione latente multitesta è progettata per ridurre?
- Il costo della memoria della cache dei valori-chiave durante l'inferenza
- Scarsità di dati sulla formazione
- Il numero di parametri del modello
- Dimensioni del vocabolario del tokenizzatore
- In che modo MLA riduce la cache KV?
- Elimina i token più vecchi dalla cache
- Memorizza un piccolo vettore latente di basso rango invece di chiavi e valori completi per testa
- Utilizza pesi a 1 bit per tutto
- Salta completamente l'attenzione su alcuni token
- Quale modello ha introdotto per primo l'attenzione latente multi-testa?
- GPT-2
- BERT
- DeepSeek-V2
- LLaMA 1
- Perché MLA necessita di un percorso separato "disaccoppiato" per gli incorporamenti di posizioni rotanti?
- Perché le posizioni sono irrilevanti per l'attenzione
- Perché RoPE raddoppia il vocabolario
- Perché accelera l'ottimizzatore
- Perché la rotazione non può essere ripiegata nella proiezione verso l'alto assorbita come il resto della chiave
- Approssimativamente quanta riduzione della memoria cache KV ha riportato DeepSeek-V2 da MLA rispetto all'attenzione multi-head standard?
- Oltre il 90%
- Circa il 5%
- Esattamente il 50%
- Nessuna riduzione, solo aumento di velocità
- Quale vantaggio pratico deriva direttamente dalla minore cache per token di MLA?
- Eliminazione della necessità di qualsiasi GPU
- Dimensioni batch di inferenza più grandi e contesti più lunghi sullo stesso hardware
- Traduzione automatica in tutte le lingue
- Rimozione dell'operazione softmax
- What is the purpose of absorbing MLA up-projection weights into other projections?
- Remove positional information from every token
- Increase the size of the cached latent
- Avoid materializing full per-head keys and values during inference
- Replace attention with a recurrent network
- What positional information does MLA handle on a separate decoupled key path?
- Class labels from the training data
- Image segmentation maps
- The output vocabulary probabilities
- Rotary position embeddings that cannot be absorbed like the other key projections