Terme du glossaire IA

Qu’est-ce que Encodage positionnel ?

Définition

Informations ajoutées aux intégrations de jetons afin que les transformateurs puissent distinguer l'ordre des séquences.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

RoPE (intégrations positionnelles rotatives)Une méthode de codage positionnel qui fait pivoter les vecteurs de requête et de clé pour coder les positions relatives des jetons.AlibiUne méthode de biais de position qui pénalise les scores d'attention en fonction de la distance symbolique, aidant ainsi les modèles à extrapoler à des contextes plus longs.Réglage fin efficace des paramètres (PEFT)Méthodes qui adaptent les modèles en entraînant un petit sous-ensemble de paramètres ajoutés.AGI (Intelligence Générale Artificielle)Un système d’IA hypothétique capable d’effectuer la plupart des tâches intellectuelles au niveau humain dans de nombreux domaines.Agent IAUn système logiciel capable d'observer, de raisonner et de prendre des mesures pour atteindre un objectif, souvent en utilisant des outils et de la mémoire.AnnotationsÉtiquettes ou métadonnées ajoutées par l’homme utilisées pour entraîner ou évaluer des modèles d’apprentissage automatique.

Apprenez-en davantage dans nos guides gratuits

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Voir aussi

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece