Gids-gekoppelde quiz · Middelmatig Niveau

Aandachtsquiz met meerdere zoekopdrachten

Test hoe aandacht voor meerdere query's de sleutelwaardekoppen deelt, het cacheverkeer vermindert en verband houdt met de aandacht voor gegroepeerde query's in decodermodellen.

Vraag 1 van 8

Wat deelt aandacht voor meerdere zoekopdrachten met alle aandachtshoofden?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat deelt aandacht voor meerdere zoekopdrachten met alle aandachtshoofden?
    • Eén set sleutels en waarden
    • De vraagprojecties
    • De softmax-temperatuur
    • De uitvoerlaag weegt
  2. Wat is het belangrijkste knelpunt dat MQA aanpakt tijdens autoregressieve generatie?
    • Berekeningsdoorvoer met drijvende komma
    • Geheugenbandbreedte door het laden van de KV-cache
    • Het aantal trainingstijdvakken
    • Tokenizer woordenschatgrootte
  3. Met welke factor verkleint MQA ongeveer de KV-cache?
    • Door de lengte van de reeks
    • Op basis van de batchgrootte
    • Door het aantal aandachtshoofden
    • Het verandert de grootte van de KV-cache niet
  4. Wat is de belangrijkste afweging bij het gebruik van MQA?
    • Veel langzamere gevolgtrekking
    • Het kan helemaal niet langer meerdere koppen gebruiken
    • Er zijn veel meer trainingsgegevens voor nodig
    • Een bescheiden daling van de modelkwaliteit
  5. Welke variant zit tussen standaard multi-head aandacht en MQA?
    • Gegroepeerde query-aandacht
    • Schuifraam Let op
    • Flits aandacht
    • Schaarse aandacht
  6. Wie heeft Multi-Query-aandacht voorgesteld?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once