Gids-gekoppelde quiz · Moeilijk Niveau

RWKV Lineaire aandachtsquiz

Ontdek RWKV's ontvangstpoort, tijdsverval, sleutel/waarde-herhaling, status van constante grootte en Transformer-achtige parallelle trainingsvorm.

Gerelateerde gidspadenRwkv Lineaire aandacht
Vraag 1 van 8

Wat is het hoofdeigendom van RWKV?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het hoofdeigendom van RWKV?
    • Het traint als een Transformer, maar voert gevolgtrekkingen uit als een RNN
    • Het kan alleen op afbeeldingen worden getraind
    • Het vereist een kwadratische sleutelwaardecache
    • Het kan helemaal niet worden geparallelliseerd
  2. Waar staan de letters in RWKV voor?
    • Lezen, schrijven, bewaren, verifiëren
    • Ontvangst, gewicht, sleutel, waarde
    • Terugkerend, breed, kernel, vector
    • Willekeurig, gewogen, kennis, variatie
  3. Hoe houdt RWKV het geheugen constant tijdens het genereren?
    • Door de modelgewichten te verwijderen
    • Door elk token op schijf op te slaan
    • Door een kleine verborgen status van vaste grootte naar voren te dragen in plaats van een groeiende cache
    • Door de uitvoer te beperken tot tien tokens
  4. Welke rol speelt het tijdsvervalgewicht (W)?
    • Het bepaalt het leertempo
    • Het telt het aantal tokens
    • Het kiest de uitvoertaal
    • Het bepaalt hoe snel oudere informatie aan invloed verliest
  5. Wat vermijdt de lineaire aandachtsherhaling van RWKV, vergeleken met softmax-aandacht?
    • De kwadratische tokenvergelijking van alle paren
    • Elk gebruik van sleutels en waarden
    • De behoefte aan inbedding
    • Het gebruik van neurale netwerken
  6. Waarom is RWKV bijzonder geschikt voor het genereren van streaming?
    • Omdat het de volledige invoer moet zien vóór enige uitvoer
    • Omdat elk nieuw token alleen afhankelijk is van de vorige staat met een vaste grootte
    • Omdat het geen tekst kan genereren
    • Omdat het voor elk token een GPU-cluster nodig heeft
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions