Quiz collegato alla guida · Medio Livello

Quiz sull'attenzione con query raggruppate

Esamina il modo in cui l'attenzione delle query raggruppate condivide le teste chiave/valore, riduce i costi della cache in fase di generazione e può essere ottenuta dai checkpoint esistenti.

Percorsi guida correlatiAttenzione alle query raggruppate
Domanda 1 di 8

Nell'attenzione alle query raggruppate, cosa viene condiviso tra un gruppo di teste di query?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Nell'attenzione alle query raggruppate, cosa viene condiviso tra un gruppo di teste di query?
    • Le teste chiave e valore
    • Solo la proiezione dell'output
    • Gli incorporamenti di input
    • Il tasso di apprendimento
  2. La GQA è meglio descritta come una via di mezzo tra quali due estremi?
    • Convoluzione e attenzione
    • Attenzione multi-testa completa e attenzione multi-query
    • Precisione FP32 e FP8
    • Modelli solo encoder e solo decoder
  3. Quale parte dell'inferenza rende GQA principalmente più economica?
    • Tokenizzazione del prompt
    • Il calcolo della perdita di allenamento
    • La memoria cache KV e la sua larghezza di banda durante la generazione
    • Il softmax finale sul vocabolario
  4. Se un modello ha 32 teste di query e 8 gruppi KV, la cache KV viene ridotta approssimativamente di quale fattore?
    • Circa 32x
    • Circa 2x
    • Nessuna riduzione
    • Circa 4x
  5. Quale compromesso qualità/velocità ha riportato il documento GQA nei suoi esperimenti?
    • Qualità vicina a MHA con velocità di inferenza più vicina a MQA
    • Qualità inferiore e inferenza più lenta rispetto a entrambi
    • Esattamente la stessa latenza e qualità per ogni modello
    • Un risultato solo sulla classificazione delle immagini
  6. In che modo i modelli multitesta esistenti vengono spesso convertiti in GQA?
    • Eliminando tutti i livelli di attenzione
    • Con un breve passaggio di "aggiornamento" dal checkpoint esistente
    • Passando a un tokenizzatore diverso
    • Non possono essere convertiti affatto
  7. Quali famiglie di compiti ha valutato il documento GQA?
    • Segmentazione delle immagini e rilevamento degli oggetti
    • Sintesi vocale e verifica del parlante
    • Modellazione del linguaggio e traduzione automatica
    • Generazione molecolare e previsione della tossicità
  8. Quanta parte del calcolo di pre-addestramento originale è stato utilizzato dal rapporto GQA per la sua ricetta di aggiornamento?
    • Circa il 50%
    • Circa il 100%
    • Nessun calcolo aggiuntivo per l'addestramento
    • Circa il 5%