Gids-gekoppelde quiz · Middelmatig Niveau
Aandachtsquiz met gegroepeerde zoekopdrachten
Bekijk hoe de aandacht van gegroepeerde zoekopdrachten sleutel/waardekoppen deelt, de cachekosten tijdens het genereren verlaagt en kan worden verkregen via bestaande controlepunten.
Vraag 1 van 8
Wat wordt er in Grouped-Query Attention gedeeld door een groep queryheads?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat wordt er in Grouped-Query Attention gedeeld door een groep queryheads?
- De sleutel- en waardehoofden
- Alleen de outputprojectie
- De invoerinsluitingen
- Het leerpercentage
- GQA kan het beste worden omschreven als een middenweg tussen welke twee uitersten?
- Convolutie en aandacht
- Volledige aandacht voor meerdere hoofden en aandacht voor meerdere vragen
- FP32- en FP8-precisie
- Modellen met alleen encoder en alleen decoder
- Welk deel van de gevolgtrekking maakt GQA vooral goedkoper?
- Tokenisatie van de prompt
- De berekening van het trainingsverlies
- Het KV-cachegeheugen en de bandbreedte ervan tijdens het genereren
- De laatste softmax over de woordenschat
- Als een model 32 querykoppen en 8 KV-groepen heeft, wordt de KV-cache met ongeveer welke factor verminderd?
- Ongeveer 32x
- Ongeveer 2x
- Geen reductie
- Ongeveer 4x
- What quality/speed tradeoff did the GQA paper report in its experiments?
- Quality close to MHA with inference speed closer to MQA
- Lower quality and slower inference than both
- Exactly the same latency and quality for every model
- A result only on image classification
- Hoe worden bestaande multi-head-modellen vaak omgezet naar GQA?
- Door alle aandachtslagen te verwijderen
- Door een korte 'uptraining'-stap vanaf het bestaande controlepunt
- Door over te stappen naar een andere tokenizer
- Ze kunnen helemaal niet worden omgezet
- Which task families did the GQA paper evaluate?
- Image segmentation and object detection
- Speech synthesis and speaker verification
- Language modeling and machine translation
- Molecular generation and toxicity prediction
- How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
- Ongeveer 50%
- About 100%
- No additional training compute
- Ongeveer 5%