Gids-gekoppelde quiz · Moeilijk Niveau
RWKV Lineaire aandachtsquiz
Ontdek RWKV's ontvangstpoort, tijdsverval, sleutel/waarde-herhaling, status van constante grootte en Transformer-achtige parallelle trainingsvorm.
Vraag 1 van 8
Wat is het hoofdeigendom van RWKV?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het hoofdeigendom van RWKV?
- Het traint als een Transformer, maar voert gevolgtrekkingen uit als een RNN
- Het kan alleen op afbeeldingen worden getraind
- Het vereist een kwadratische sleutelwaardecache
- Het kan helemaal niet worden geparallelliseerd
- Waar staan de letters in RWKV voor?
- Lezen, schrijven, bewaren, verifiëren
- Ontvangst, gewicht, sleutel, waarde
- Terugkerend, breed, kernel, vector
- Willekeurig, gewogen, kennis, variatie
- Hoe houdt RWKV het geheugen constant tijdens het genereren?
- Door de modelgewichten te verwijderen
- Door elk token op schijf op te slaan
- Door een kleine verborgen status van vaste grootte naar voren te dragen in plaats van een groeiende cache
- Door de uitvoer te beperken tot tien tokens
- Welke rol speelt het tijdsvervalgewicht (W)?
- Het bepaalt het leertempo
- Het telt het aantal tokens
- Het kiest de uitvoertaal
- Het bepaalt hoe snel oudere informatie aan invloed verliest
- Wat vermijdt de lineaire aandachtsherhaling van RWKV, vergeleken met softmax-aandacht?
- De kwadratische tokenvergelijking van alle paren
- Elk gebruik van sleutels en waarden
- De behoefte aan inbedding
- Het gebruik van neurale netwerken
- Waarom is RWKV bijzonder geschikt voor het genereren van streaming?
- Omdat het de volledige invoer moet zien vóór enige uitvoer
- Omdat elk nieuw token alleen afhankelijk is van de vorige staat met een vaste grootte
- Omdat het geen tekst kan genereren
- Omdat het voor elk token een GPU-cluster nodig heeft
- In the guide’s RWKV description, what does the receptance gate control?
- How many image patches are generated
- The size of the model vocabulary
- How much of the accumulated state is read out
- The amount of GPU memory available
- What training property does RWKV retain from Transformers?
- Full quadratic key-value caching at inference
- A separate generator and discriminator
- A fixed top-k token router in every layer
- Parallelizable training across sequence positions