Gids-gekoppelde quiz · Moeilijk Niveau

YaRN en contextlengte-extensiequiz

Controleert hoe YaRN de RoPE-frequenties aanpast, lokale details behoudt, de aandachtstemperatuur schaalt en de context uitbreidt met fijnafstemming.

Gerelateerde gidspadenGaren- en contextlengteverlenging
Vraag 1 van 8

Welke positiecoderingsmethode wijzigt YaRN om de context uit te breiden?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke positiecoderingsmethode wijzigt YaRN om de context uit te breiden?
    • Roterende positie-inbedding (RoPE)
    • Absolute sinusoïdale inbedding
    • Positionele opzoektabellen geleerd
    • Alleen relatieve bias-matrices
  2. Wat gaat er mis als een RoPE-model reeksen ziet die langer zijn dan de trainingsduur?
    • De tokenizer loopt vast
    • De rotatiehoeken bereiken onzichtbare bereiken en de prestaties storten in
    • Het model geeft alleen nullen weer
    • Verlopen worden precies één
  3. Hoe gaat YaRN om met verschillende RoPE-frequentiedimensies?
    • Het interpoleert alle dimensies gelijkelijk
    • Het verwijdert hoogfrequente dimensies
    • Het interpoleert laagfrequente dimensies terwijl de hoogfrequente dimensies grotendeels behouden blijven
    • Het randomiseert elke dimensie
  4. Welke extra aanpassing past YaRN toe, naast het herschalen van frequenties?
    • Een nieuwe tokenizer
    • Verdubbeling van het aantal lagen
    • Laagnormalisatie verwijderen
    • Een aanpassing van de aandachtstemperatuur (softmax-schaling).
  5. Wat is een belangrijk praktisch voordeel van YaRN ten opzichte van naïeve interpolatie?
    • Het bereikt een lange context met veel minder verfijnde gegevens en stappen
    • Er is helemaal geen model voor nodig
    • Het werkt alleen onder 512 tokens
    • Het elimineert de noodzaak voor GPU's
  6. Waarom is naïeve lineaire interpolatie van alle RoPE-frequenties schadelijk?
    • Het heeft alleen invloed op de bias-termen
    • Het comprimeert hoogfrequente dimensies die lokale details coderen
    • Het maakt het model groter
    • Het verandert de grootte van de woordenschat
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context