Qu'est-ce que Encodage positionnel?

Une méthode de codage positionnel qui fait pivoter les vecteurs de requête et de clé pour coder les positions relatives des jetons.

Une méthode de biais de position qui pénalise les scores d'attention en fonction de la distance symbolique, aidant ainsi les modèles à extrapoler à des contextes plus longs.

Méthodes qui adaptent les modèles en entraînant un petit sous-ensemble de paramètres ajoutés.

Un système d’IA hypothétique capable d’effectuer la plupart des tâches intellectuelles au niveau humain dans de nombreux domaines.

Un système logiciel capable d'observer, de raisonner et de prendre des mesures pour atteindre un objectif, souvent en utilisant des outils et de la mémoire.

Étiquettes ou métadonnées ajoutées par l’homme utilisées pour entraîner ou évaluer des modèles d’apprentissage automatique.