Gids-gekoppelde quiz · Moeilijk Niveau

Quiz voor het schalen van YaRN-contextvensters

Bekijk YaRN-frequentiebanden, overgangsmenging, aandachtstemperatuur, aanpassingskosten en het verschil tussen ondersteunde lengte en prestaties.

Gerelateerde gidspadenSchalen van garencontextvenster
Vraag 1 van 8

Welk positiecoderingsschema wijzigt YaRN om de contextlengte te verlengen?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welk positiecoderingsschema wijzigt YaRN om de contextlengte te verlengen?
    • Roterende positie-inbedding (RoPE)
    • Absolute sinusoïdale inbedding
    • Positionele opzoektabellen geleerd
    • ALiBi lineaire vooroordelen
  2. Hoe behandelt YaRN hoogfrequente versus laagfrequente RoPE-dimensies?
    • Het interpoleert beide in gelijke mate
    • Het verwijdert volledig hoogfrequente dimensies
    • Het wijzigt alleen hoogfrequente dimensies
    • Het laat hoogfrequente dimensies grotendeels intact en interpoleert laagfrequente dimensies
  3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
    • As proof that no YaRN model ever needs training
    • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
    • As a universal promise that every dataset size works equally well
    • As removal of the need for GPUs or inference computation
  4. Welke extra aanpassing past YaRN toe, naast het herschalen van frequenties, om de aandacht op lange afstand stabiel te houden?
    • Een stijging van de uitval
    • Een grotere woordenschat
    • Een aanpassing van de aandachtstemperatuur (softmax-schaling).
    • Verloop knippen
  5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
    • The model necessarily becomes perfectly accurate at longer lengths
    • The context extension automatically reduces memory to zero
    • A larger window proves every passage is equally easy to retrieve
    • Positional and attention behavior may degrade outside the conditions it learned
  6. Naïeve lineaire positie-interpolatie schaadt welke capaciteit YaRN wil behouden?
    • Fijne lokale relaties tussen tokens in de buurt
    • De woordenschatgrootte van het model
    • De snelheid van de tokenizer
    • Het aantal lagen
  7. What happens in the transition region between YaRN's high- and low-frequency treatments?
    • Every dimension is assigned a random vocabulary token
    • All transition dimensions are deleted from attention
    • The scheme blends original and interpolated frequency treatment across the relevant dimensions
    • One identical scaling rule ignores frequency differences entirely
  8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
    • Whether the positional scheme can accept any coordinates at all
    • Reliable performance for every intended task and position within that window
    • The spelling of the model's name
    • A requirement that every inference request retrain all weights