Gids-gekoppelde quiz · Moeilijk Niveau
YaRN en contextlengte-extensiequiz
Controleert hoe YaRN de RoPE-frequenties aanpast, lokale details behoudt, de aandachtstemperatuur schaalt en de context uitbreidt met fijnafstemming.
Vraag 1 van 8
Welke positiecoderingsmethode wijzigt YaRN om de context uit te breiden?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke positiecoderingsmethode wijzigt YaRN om de context uit te breiden?
- Roterende positie-inbedding (RoPE)
- Absolute sinusoïdale inbedding
- Positionele opzoektabellen geleerd
- Alleen relatieve bias-matrices
- Wat gaat er mis als een RoPE-model reeksen ziet die langer zijn dan de trainingsduur?
- De tokenizer loopt vast
- De rotatiehoeken bereiken onzichtbare bereiken en de prestaties storten in
- Het model geeft alleen nullen weer
- Verlopen worden precies één
- Hoe gaat YaRN om met verschillende RoPE-frequentiedimensies?
- Het interpoleert alle dimensies gelijkelijk
- Het verwijdert hoogfrequente dimensies
- Het interpoleert laagfrequente dimensies terwijl de hoogfrequente dimensies grotendeels behouden blijven
- Het randomiseert elke dimensie
- Welke extra aanpassing past YaRN toe, naast het herschalen van frequenties?
- Een nieuwe tokenizer
- Verdubbeling van het aantal lagen
- Laagnormalisatie verwijderen
- Een aanpassing van de aandachtstemperatuur (softmax-schaling).
- Wat is een belangrijk praktisch voordeel van YaRN ten opzichte van naïeve interpolatie?
- Het bereikt een lange context met veel minder verfijnde gegevens en stappen
- Er is helemaal geen model voor nodig
- Het werkt alleen onder 512 tokens
- Het elimineert de noodzaak voor GPU's
- Waarom is naïeve lineaire interpolatie van alle RoPE-frequenties schadelijk?
- Het heeft alleen invloed op de bias-termen
- Het comprimeert hoogfrequente dimensies die lokale details coderen
- Het maakt het model groter
- Het verandert de grootte van de woordenschat
- In RoPE, which vectors receive position-dependent rotations?
- Only the value vectors
- Only the model’s token IDs
- The query and key vectors
- The optimizer’s gradient and momentum
- What does YaRN’s attention-temperature adjustment address when context length is extended?
- The number of GPU layers
- The dimensions of the token vocabulary
- The weight decay coefficient
- Changes in attention entropy or softmax sharpness caused by the longer context