Quiz collegato alla guida · Medio Livello

Quiz sull'attenzione su più query

Testa il modo in cui l'attenzione su più query condivide le intestazioni dei valori-chiave, riduce il traffico della cache e si collega all'attenzione delle query raggruppate nei modelli di decodificatore.

Percorsi guida correlatiAttenzione a più query
Domanda 1 di 8

Cosa condivide l'attenzione multi-query tra tutte le teste di attenzione?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa condivide l'attenzione multi-query tra tutte le teste di attenzione?
    • Un unico set di chiavi e valori
    • Le proiezioni delle query
    • La temperatura softmax
    • Il livello di output pesa
  2. Qual è il collo di bottiglia principale che MQA affronta durante la generazione autoregressiva?
    • Throughput di calcolo in virgola mobile
    • Larghezza di banda della memoria dal caricamento della cache KV
    • Il numero di epoche di allenamento
    • Dimensioni del vocabolario del tokenizzatore
  3. All'incirca in base a quale fattore MQA riduce la cache KV?
    • Dalla lunghezza della sequenza
    • Dalla dimensione del lotto
    • Dal numero di teste di attenzione
    • Non modifica la dimensione della cache KV
  4. Qual è il principale compromesso derivante dall’utilizzo di MQA?
    • Inferenza molto più lenta
    • Non è più possibile utilizzare più teste
    • Richiede molti più dati di addestramento
    • Un modesto calo nella qualità del modello
  5. Quale variante si trova tra l'attenzione multi-testa standard e l'MQA?
    • Attenzione alle query raggruppate
    • Attenzione alla finestra scorrevole
    • Attenzione flash
    • Scarsa attenzione
  6. Chi ha proposto l'attenzione multi-query?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once