Terme du glossaire IA

Qu’est-ce que RoPE (intégrations positionnelles rotatives) ?

Définition

Une méthode de codage positionnel qui fait pivoter les vecteurs de requête et de clé pour coder les positions relatives des jetons.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

Encodage positionnelInformations ajoutées aux intégrations de jetons afin que les transformateurs puissent distinguer l'ordre des séquences.AlibiUne méthode de biais de position qui pénalise les scores d'attention en fonction de la distance symbolique, aidant ainsi les modèles à extrapoler à des contextes plus longs.Fusion RAGUne méthode de récupération qui génère plusieurs variantes de requête, récupère les résultats pour chacune et fusionne les classements.ANN (voisin le plus proche approximatif)Des algorithmes qui trouvent des vecteurs proches d'une requête sans comparaison exhaustive, troquant l'exactitude contre la vitesse.RAG (génération augmentée par récupération)Une méthode qui récupère des connaissances externes et les intègre à la génération au moment de l'inférence.Apprentissage par renforcement à partir de la rétroaction humaine (RLHF)Une méthode de formation qui utilise les signaux de préférence humaine pour façonner le comportement du modèle.

Apprenez-en davantage dans nos guides gratuits

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Voir aussi

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts