Terme du glossaire IA

Qu'est-ce que ALiBi?

Définition

Une méthode de biais de position qui pénalise les scores d'attention en fonction de la distance symbolique, aidant ainsi les modèles à extrapoler à des contextes plus longs.

Termes associés

RoPE (intégrations positionnelles rotatives)
Une méthode de codage positionnel qui fait pivoter les vecteurs de requête et de clé pour coder les positions relatives des jetons.
Encodage positionnel
Informations ajoutées aux intégrations de jetons afin que les transformateurs puissent distinguer l'ordre des séquences.
Attention fenêtre coulissante
Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.
Biais algorithmique
Iniquité systématique dans les résultats du modèle causée par des données, des hypothèses ou des choix de modélisation biaisés.
Mécanisme d'attention
Un composant de modèle qui se concentre dynamiquement sur les parties pertinentes d'une entrée lors de la production d'une sortie.
Biais
Un modèle cohérent d'erreur ou d'injustice dans le comportement des données ou du modèle.

Apprenez-en davantage dans nos guides gratuits

ALiBi Position Bias

Voir aussi

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA