What is RoPE (Rotary Positional Embeddings)? Definition | AI Understanding

Définition

Une méthode de codage positionnel qui fait pivoter les vecteurs de requête et de clé pour coder les positions relatives des jetons.

Termes associés

Encodage positionnel

Informations ajoutées aux intégrations de jetons afin que les transformateurs puissent distinguer l'ordre des séquences.

Une méthode de biais de position qui pénalise les scores d'attention en fonction de la distance symbolique, aidant ainsi les modèles à extrapoler à des contextes plus longs.

Une méthode de récupération qui génère plusieurs variantes de requête, récupère les résultats pour chacune et fusionne les classements.

ANN (voisin le plus proche approximatif)

Des algorithmes qui trouvent des vecteurs proches d'une requête sans comparaison exhaustive, troquant l'exactitude contre la vitesse.

RAG (génération augmentée par récupération)

Une méthode qui récupère des connaissances externes et les intègre à la génération au moment de l'inférence.

Apprentissage par renforcement à partir de la rétroaction humaine (RLHF)

Une méthode de formation qui utilise les signaux de préférence humaine pour façonner le comportement du modèle.

Apprenez-en davantage dans nos guides gratuits

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

Voir aussi

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA