Gids-gekoppelde quiz · Middelmatig Niveau

Aandachtsquiz met gegroepeerde zoekopdrachten

Bekijk hoe de aandacht van gegroepeerde zoekopdrachten sleutel/waardekoppen deelt, de cachekosten tijdens het genereren verlaagt en kan worden verkregen via bestaande controlepunten.

Gerelateerde gidspadenGegroepeerde vraagaandacht
Vraag 1 van 8

Wat wordt er in Grouped-Query Attention gedeeld door een groep queryheads?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat wordt er in Grouped-Query Attention gedeeld door een groep queryheads?
    • De sleutel- en waardehoofden
    • Alleen de outputprojectie
    • De invoerinsluitingen
    • Het leerpercentage
  2. GQA kan het beste worden omschreven als een middenweg tussen welke twee uitersten?
    • Convolutie en aandacht
    • Volledige aandacht voor meerdere hoofden en aandacht voor meerdere vragen
    • FP32- en FP8-precisie
    • Modellen met alleen encoder en alleen decoder
  3. Welk deel van de gevolgtrekking maakt GQA vooral goedkoper?
    • Tokenisatie van de prompt
    • De berekening van het trainingsverlies
    • Het KV-cachegeheugen en de bandbreedte ervan tijdens het genereren
    • De laatste softmax over de woordenschat
  4. Als een model 32 querykoppen en 8 KV-groepen heeft, wordt de KV-cache met ongeveer welke factor verminderd?
    • Ongeveer 32x
    • Ongeveer 2x
    • Geen reductie
    • Ongeveer 4x
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. Hoe worden bestaande multi-head-modellen vaak omgezet naar GQA?
    • Door alle aandachtslagen te verwijderen
    • Door een korte 'uptraining'-stap vanaf het bestaande controlepunt
    • Door over te stappen naar een andere tokenizer
    • Ze kunnen helemaal niet worden omgezet
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • Ongeveer 50%
    • About 100%
    • No additional training compute
    • Ongeveer 5%