À suivreGuide suivant
Interpolation de position pour l'extension de contexte
IA linguistique
GUIDE Technique
YaRN et extension de longueur de contexte
YaRN (Yet another RoPE extensioN) est une technique efficace pour étendre la fenêtre contextuelle utilisable d'un modèle bien au-delà de ce sur quoi il a été formé.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
Plongée profonde
La plupart des LLM modernes codent les positions des jetons avec RoPE (Rotary Position Embeddings), qui font pivoter les requêtes et les vecteurs clés selon des angles liés à la position. Lorsque vous alimentez des séquences plus longues que la durée de l'entraînement, ces rotations entrent dans des plages invisibles et le modèle tombe en panne. YaRN, introduit en 2023 par Bowen Peng et ses collaborateurs, corrige ce problème avec une interpolation compatible NTK appliquée par fréquence : il laisse les dimensions haute fréquence (qui capturent les relations locales à courte portée) pour la plupart intactes tout en interpolant les dimensions basse fréquence (qui suivent la position à longue portée). YaRN ajoute également un ajustement de température à l'attention pour contrer les changements d'entropie provenant de contextes plus longs. Le résultat est de solides performances dans un contexte long après un ajustement précis sur seulement une infime fraction des données et des étapes requises par les approches naïves.
Mise en œuvre dans le monde réel
Extension d'un modèle de contexte 4K ouvert à 32K ou 128K pour répondre à des questions sur des documents longs avec de brefs ajustements
Permettre aux systèmes de récupération augmentée d'ingérer de nombreux passages concaténés sans troncature
Alimenter les assistants de code qui ont besoin d'un fichier de référentiel volumineux entier ou de plusieurs fichiers dans une seule invite
Adaptation d'un modèle de base pour les longues conversations à plusieurs tours qui accumulent de grands historiques de discussion
L'avenir de YaRN et de l'extension de longueur de contexte
L'extension de contexte est désormais une pratique courante : les modèles ouverts fournissent régulièrement des variantes étendues de YaRN atteignant 128 000 jetons ou plus. La recherche s'oriente vers des méthodes qui étendent le contexte avec un réglage fin nul ou proche de zéro, combinent le redimensionnement RoPE avec des astuces de modèle d'attention et maintiennent la qualité sur toute la fenêtre plutôt que seulement jusqu'aux extrémités. Attendez-vous à une intégration plus étroite de ces techniques dans la pré-formation tant que le contexte est natif plutôt que modernisé.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the YaRN and Context Length Extension quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is YaRN and Context Length Extension?
YaRN (Yet another RoPE extensioN) est une technique efficace pour étendre la fenêtre contextuelle utilisable d'un modèle bien au-delà de ce sur quoi il a été formé. Il redimensionne intelligemment les intégrations de positions rotatives afin qu'un modèle formé, par exemple, sur des jetons 4K puisse gérer 32K ou plus avec un minimum de réglages.
Quelle méthode de codage de position YaRN modifie-t-il pour étendre le contexte ?
YaRN, dont le nom signifie Encore une autre extension RoPE, redimensionne les intégrations de positions rotatives utilisées dans la plupart des LLM modernes.
Qu'est-ce qui ne va pas lorsqu'un modèle RoPE voit des séquences plus longues que sa durée d'entraînement ?
Les positions au-delà de l’entraînement produisent des angles de rotation que le modèle n’a jamais vus, de sorte que le comportement attentionnel se dégrade fortement.
Comment YaRN traite-t-il les différentes dimensions de fréquence RoPE ?
YaRN utilise une rampe NTK par parties qui interpole les gradations basse fréquence à longue longueur d'onde et laisse les gradations haute fréquence à courte portée pratiquement intactes.
Outre le redimensionnement des fréquences, quel ajustement supplémentaire YaRN applique-t-il ?
YaRN ajoute une échelle de température aux logits d'attention pour contrecarrer les changements d'entropie qui se produisent à mesure que le contexte s'agrandit.
Quel est l’avantage pratique clé de YaRN par rapport à l’interpolation naïve ?
YaRN atteint une forte qualité de contexte long après avoir affiné une petite fraction des données requises par les méthodes naïves.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet