Quiz collegato alla guida · Medio Livello
Quiz sull'attenzione con query raggruppate
Esamina il modo in cui l'attenzione delle query raggruppate condivide le teste chiave/valore, riduce i costi della cache in fase di generazione e può essere ottenuta dai checkpoint esistenti.
Domanda 1 di 8
Nell'attenzione alle query raggruppate, cosa viene condiviso tra un gruppo di teste di query?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Nell'attenzione alle query raggruppate, cosa viene condiviso tra un gruppo di teste di query?
- Le teste chiave e valore
- Solo la proiezione dell'output
- Gli incorporamenti di input
- Il tasso di apprendimento
- La GQA è meglio descritta come una via di mezzo tra quali due estremi?
- Convoluzione e attenzione
- Attenzione multi-testa completa e attenzione multi-query
- Precisione FP32 e FP8
- Modelli solo encoder e solo decoder
- Quale parte dell'inferenza rende GQA principalmente più economica?
- Tokenizzazione del prompt
- Il calcolo della perdita di allenamento
- La memoria cache KV e la sua larghezza di banda durante la generazione
- Il softmax finale sul vocabolario
- Se un modello ha 32 teste di query e 8 gruppi KV, la cache KV viene ridotta approssimativamente di quale fattore?
- Circa 32x
- Circa 2x
- Nessuna riduzione
- Circa 4x
- Quale compromesso qualità/velocità ha riportato il documento GQA nei suoi esperimenti?
- Qualità vicina a MHA con velocità di inferenza più vicina a MQA
- Qualità inferiore e inferenza più lenta rispetto a entrambi
- Esattamente la stessa latenza e qualità per ogni modello
- Un risultato solo sulla classificazione delle immagini
- In che modo i modelli multitesta esistenti vengono spesso convertiti in GQA?
- Eliminando tutti i livelli di attenzione
- Con un breve passaggio di "aggiornamento" dal checkpoint esistente
- Passando a un tokenizzatore diverso
- Non possono essere convertiti affatto
- Quali famiglie di compiti ha valutato il documento GQA?
- Segmentazione delle immagini e rilevamento degli oggetti
- Sintesi vocale e verifica del parlante
- Modellazione del linguaggio e traduzione automatica
- Generazione molecolare e previsione della tossicità
- Quanta parte del calcolo di pre-addestramento originale è stato utilizzato dal rapporto GQA per la sua ricetta di aggiornamento?
- Circa il 50%
- Circa il 100%
- Nessun calcolo aggiuntivo per l'addestramento
- Circa il 5%