Quiz collegato alla guida · Medio Livello
Quiz sull'attenzione su più query
Testa il modo in cui l'attenzione su più query condivide le intestazioni dei valori-chiave, riduce il traffico della cache e si collega all'attenzione delle query raggruppate nei modelli di decodificatore.
Domanda 1 di 8
Cosa condivide l'attenzione multi-query tra tutte le teste di attenzione?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa condivide l'attenzione multi-query tra tutte le teste di attenzione?
- Un unico set di chiavi e valori
- Le proiezioni delle query
- La temperatura softmax
- Il livello di output pesa
- Qual è il collo di bottiglia principale che MQA affronta durante la generazione autoregressiva?
- Throughput di calcolo in virgola mobile
- Larghezza di banda della memoria dal caricamento della cache KV
- Il numero di epoche di allenamento
- Dimensioni del vocabolario del tokenizzatore
- All'incirca in base a quale fattore MQA riduce la cache KV?
- Dalla lunghezza della sequenza
- Dalla dimensione del lotto
- Dal numero di teste di attenzione
- Non modifica la dimensione della cache KV
- Qual è il principale compromesso derivante dall’utilizzo di MQA?
- Inferenza molto più lenta
- Non è più possibile utilizzare più teste
- Richiede molti più dati di addestramento
- Un modesto calo nella qualità del modello
- Quale variante si trova tra l'attenzione multi-testa standard e l'MQA?
- Attenzione alle query raggruppate
- Attenzione alla finestra scorrevole
- Attenzione flash
- Scarsa attenzione
- Chi ha proposto l'attenzione multi-query?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- In Multi-Query Attention, what remains separate for each attention head?
- The shared key projection
- The shared value projection
- The query projection
- The token sequence itself
- How does Grouped-Query Attention differ from standard MQA?
- It shares query projections but gives every head separate keys and values
- It removes attention and replaces it with a recurrent layer
- It groups output vocabulary tokens instead of attention heads
- It shares keys and values within several groups of query heads rather than across all heads at once