Quiz lié à un guide · Difficile Niveau

Quiz sur la mise à l'échelle de la fenêtre contextuelle YaRN

Examinez les bandes de fréquences YaRN, le mélange de transitions, la température d'attention, les coûts d'adaptation et la différence entre la longueur prise en charge et les performances.

Chemins de guidage associésMise à l'échelle de la fenêtre de contexte de fil
Question 1 de 8

Quel schéma de codage de position YaRN modifie-t-il pour étendre la longueur du contexte ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel schéma de codage de position YaRN modifie-t-il pour étendre la longueur du contexte ?
    • Intégrations de positions rotatives (RoPE)
    • Intégrations sinusoïdales absolues
    • Tables de recherche de position apprises
    • Biais linéaires ALiBi
  2. Comment YaRN traite-t-il les dimensions RoPE haute fréquence et basse fréquence ?
    • Il interpole les deux de manière égale
    • Il supprime entièrement les dimensions haute fréquence
    • Il ne modifie que les dimensions haute fréquence
    • Il laisse les dimensions haute fréquence pratiquement intactes et interpole celles à basse fréquence.
  3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
    • As proof that no YaRN model ever needs training
    • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
    • As a universal promise that every dataset size works equally well
    • As removal of the need for GPUs or inference computation
  4. Outre le rééchelonnement des fréquences, quel ajustement supplémentaire YaRN applique-t-il pour maintenir la stabilité de l’attention à longue portée ?
    • Une augmentation des abandons
    • Un vocabulaire plus large
    • Un réglage de température attention (softmax scaling)
    • Découpage de dégradé
  5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
    • The model necessarily becomes perfectly accurate at longer lengths
    • The context extension automatically reduces memory to zero
    • A larger window proves every passage is equally easy to retrieve
    • Positional and attention behavior may degrade outside the conditions it learned
  6. L'interpolation de position linéaire naïve nuit à la capacité que YaRN vise à préserver ?
    • Relations locales fines entre les jetons proches
    • La taille du vocabulaire du modèle
    • La vitesse du tokenizer
    • Le nombre de couches
  7. What happens in the transition region between YaRN's high- and low-frequency treatments?
    • Every dimension is assigned a random vocabulary token
    • All transition dimensions are deleted from attention
    • The scheme blends original and interpolated frequency treatment across the relevant dimensions
    • One identical scaling rule ignores frequency differences entirely
  8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
    • Whether the positional scheme can accept any coordinates at all
    • Reliable performance for every intended task and position within that window
    • The spelling of the model's name
    • A requirement that every inference request retrain all weights