Gids-gekoppelde quiz · Moeilijk Niveau
Quiz voor het schalen van YaRN-contextvensters
Bekijk YaRN-frequentiebanden, overgangsmenging, aandachtstemperatuur, aanpassingskosten en het verschil tussen ondersteunde lengte en prestaties.
Vraag 1 van 8
Welk positiecoderingsschema wijzigt YaRN om de contextlengte te verlengen?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welk positiecoderingsschema wijzigt YaRN om de contextlengte te verlengen?
- Roterende positie-inbedding (RoPE)
- Absolute sinusoïdale inbedding
- Positionele opzoektabellen geleerd
- ALiBi lineaire vooroordelen
- Hoe behandelt YaRN hoogfrequente versus laagfrequente RoPE-dimensies?
- Het interpoleert beide in gelijke mate
- Het verwijdert volledig hoogfrequente dimensies
- Het wijzigt alleen hoogfrequente dimensies
- Het laat hoogfrequente dimensies grotendeels intact en interpoleert laagfrequente dimensies
- How should YaRN's reported data and fine-tuning efficiency be interpreted?
- As proof that no YaRN model ever needs training
- As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
- As a universal promise that every dataset size works equally well
- As removal of the need for GPUs or inference computation
- Welke extra aanpassing past YaRN toe, naast het herschalen van frequenties, om de aandacht op lange afstand stabiel te houden?
- Een stijging van de uitval
- Een grotere woordenschat
- Een aanpassing van de aandachtstemperatuur (softmax-schaling).
- Verloop knippen
- What motivates evaluating a RoPE model before using a context far beyond its original training length?
- The model necessarily becomes perfectly accurate at longer lengths
- The context extension automatically reduces memory to zero
- A larger window proves every passage is equally easy to retrieve
- Positional and attention behavior may degrade outside the conditions it learned
- Naïeve lineaire positie-interpolatie schaadt welke capaciteit YaRN wil behouden?
- Fijne lokale relaties tussen tokens in de buurt
- De woordenschatgrootte van het model
- De snelheid van de tokenizer
- Het aantal lagen
- What happens in the transition region between YaRN's high- and low-frequency treatments?
- Every dimension is assigned a random vocabulary token
- All transition dimensions are deleted from attention
- The scheme blends original and interpolated frequency treatment across the relevant dimensions
- One identical scaling rule ignores frequency differences entirely
- What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
- Whether the positional scheme can accept any coordinates at all
- Reliable performance for every intended task and position within that window
- The spelling of the model's name
- A requirement that every inference request retrain all weights