Gids-gekoppelde quiz · Middelmatig Niveau
Aandachtsquiz met meerdere zoekopdrachten
Test hoe aandacht voor meerdere query's de sleutelwaardekoppen deelt, het cacheverkeer vermindert en verband houdt met de aandacht voor gegroepeerde query's in decodermodellen.
Vraag 1 van 8
Wat deelt aandacht voor meerdere zoekopdrachten met alle aandachtshoofden?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat deelt aandacht voor meerdere zoekopdrachten met alle aandachtshoofden?
- Eén set sleutels en waarden
- De vraagprojecties
- De softmax-temperatuur
- De uitvoerlaag weegt
- Wat is het belangrijkste knelpunt dat MQA aanpakt tijdens autoregressieve generatie?
- Berekeningsdoorvoer met drijvende komma
- Geheugenbandbreedte door het laden van de KV-cache
- Het aantal trainingstijdvakken
- Tokenizer woordenschatgrootte
- Met welke factor verkleint MQA ongeveer de KV-cache?
- Door de lengte van de reeks
- Op basis van de batchgrootte
- Door het aantal aandachtshoofden
- Het verandert de grootte van de KV-cache niet
- Wat is de belangrijkste afweging bij het gebruik van MQA?
- Veel langzamere gevolgtrekking
- Het kan helemaal niet langer meerdere koppen gebruiken
- Er zijn veel meer trainingsgegevens voor nodig
- Een bescheiden daling van de modelkwaliteit
- Welke variant zit tussen standaard multi-head aandacht en MQA?
- Gegroepeerde query-aandacht
- Schuifraam Let op
- Flits aandacht
- Schaarse aandacht
- Wie heeft Multi-Query-aandacht voorgesteld?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- In Multi-Query Attention, what remains separate for each attention head?
- The shared key projection
- The shared value projection
- The query projection
- The token sequence itself
- How does Grouped-Query Attention differ from standard MQA?
- It shares query projections but gives every head separate keys and values
- It removes attention and replaces it with a recurrent layer
- It groups output vocabulary tokens instead of attention heads
- It shares keys and values within several groups of query heads rather than across all heads at once