Quiz lié à un guide · Moyen Niveau

Interpolation positionnelle pour un quiz contextuel long

Vérifie comment l'interpolation positionnelle redimensionne les positions RoPE, pourquoi l'extrapolation peut déstabiliser l'attention et ce que sa source a évalué.

Chemins de guidage associésInterpolation positionnelle pour un contexte long
Question 1 de 8

Quelle est l’idée principale derrière l’interpolation positionnelle ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle est l’idée principale derrière l’interpolation positionnelle ?
    • Intégrer de nouveaux indices de position dans la plage sur laquelle le modèle a déjà été formé
    • Entraîner un tout nouveau modèle à partir de zéro pour chaque longueur
    • Suppression complète des informations de position
    • Trier les jetons par importance
  2. Pourquoi l’extrapolation naïve à des positions plus longues échoue-t-elle ?
    • Il utilise trop peu de mémoire
    • Cela peut faire exploser les scores d’attention jusqu’à atteindre des valeurs extrêmement élevées et instables.
    • Il renvoie toujours le même jeton
    • Cela nécessite un tokenizer différent
  3. À peu près combien de réglages le travail initial de PI a-t-il nécessité pour étendre LLaMA à 32K ?
    • Pas de réglage fin du tout
    • Environ 1 million de pas
    • Environ 1 000 pas
    • Une course de pré-entraînement complète
  4. Si vous étendez le contexte d'un facteur s, comment PI transforme-t-il une position m ?
    • Il mappe m à m fois s
    • Il mappe m à m au carré
    • Cela laisse m inchangé
    • Il mappe m à m divisé par s
  5. Comment PI a-t-il influencé les méthodes ultérieures comme YaRN ?
    • C'est devenu la base sur laquelle les méthodes sensibles à la fréquence ont été améliorées.
    • Il a été abandonné et n'a jamais été cité
    • Il a remplacé l'architecture Transformer
    • Cela s'applique uniquement aux modèles d'image
  6. Quel codage de position l’interpolation positionnelle cible-t-elle principalement ?
    • Encodages à chaud
    • RoPE (intégrations de positions rotatives)
    • Vecteurs Word2Vec
    • Le sac de mots compte
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000