Quiz lié à un guide · Difficile Niveau

Quiz YaRN et extension de longueur de contexte

Vérifie comment YaRN ajuste les fréquences RoPE, préserve les détails locaux, met à l'échelle la température de l'attention et étend le contexte avec un réglage fin.

Chemins de guidage associésExtension de longueur de fil et de contexte
Question 1 de 8

Quelle méthode de codage de position YaRN modifie-t-il pour étendre le contexte ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle méthode de codage de position YaRN modifie-t-il pour étendre le contexte ?
    • Intégrations de positions rotatives (RoPE)
    • Intégrations sinusoïdales absolues
    • Tables de recherche de position apprises
    • Matrices de biais relatifs uniquement
  2. Qu'est-ce qui ne va pas lorsqu'un modèle RoPE voit des séquences plus longues que sa durée d'entraînement ?
    • Le tokeniseur plante
    • Les angles de rotation entrent dans des plages invisibles et les performances s'effondrent
    • Le modèle ne génère que des zéros
    • Les dégradés ne font plus qu'un
  3. Comment YaRN traite-t-il les différentes dimensions de fréquence RoPE ?
    • Il interpole toutes les dimensions de manière égale
    • Il supprime les dimensions haute fréquence
    • Il interpole les dimensions basse fréquence tout en préservant largement celles à haute fréquence
    • Il randomise chaque dimension
  4. Outre le redimensionnement des fréquences, quel ajustement supplémentaire YaRN applique-t-il ?
    • Un nouveau tokeniseur
    • Doubler le nombre de couches
    • Suppression de la normalisation des calques
    • Un réglage de température attention (softmax scaling)
  5. Quel est l’avantage pratique clé de YaRN par rapport à l’interpolation naïve ?
    • Il atteint un contexte long avec beaucoup moins de données et d'étapes de réglage fin
    • Il n'a besoin d'aucun modèle
    • Cela ne fonctionne qu'en dessous de 512 jetons
    • Cela élimine le besoin de GPU
  6. Pourquoi l’interpolation linéaire naïve de toutes les fréquences RoPE est-elle nuisible ?
    • Cela n'affecte que les termes de biais
    • Il compresse les dimensions haute fréquence qui codent les détails locaux
    • Cela agrandit le modèle
    • Cela change la taille du vocabulaire
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context