Terme du glossaire IA

Qu’est-ce que Alibi ?

Définition

Une méthode de biais de position qui pénalise les scores d'attention en fonction de la distance symbolique, aidant ainsi les modèles à extrapoler à des contextes plus longs.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

RoPE (intégrations positionnelles rotatives)Une méthode de codage positionnel qui fait pivoter les vecteurs de requête et de clé pour coder les positions relatives des jetons.Encodage positionnelInformations ajoutées aux intégrations de jetons afin que les transformateurs puissent distinguer l'ordre des séquences.Attention fenêtre coulissanteUn modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.Biais algorithmiqueIniquité systématique dans les résultats du modèle causée par des données, des hypothèses ou des choix de modélisation biaisés.Mécanisme d'attentionUn composant de modèle qui se concentre dynamiquement sur les parties pertinentes d'une entrée lors de la production d'une sortie.BiaisUn modèle cohérent d'erreur ou d'injustice dans le comportement des données ou du modèle.

Apprenez-en davantage dans nos guides gratuits

ALiBi Position Bias

Voir aussi

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)