Qu'est-ce que Mécanisme d'attention?

Le composant d'un modèle qui transforme les entrées en représentations latentes.

Un mécanisme de transformation qui exécute plusieurs opérations d'attention en parallèle pour capturer différents types de relations.

Une méthode de biais de position qui pénalise les scores d'attention en fonction de la distance symbolique, aidant ainsi les modèles à extrapoler à des contextes plus longs.

Tâche dans laquelle un modèle attribue une entrée à une ou plusieurs catégories prédéfinies.

Nombre maximum de jetons d'entrée qu'un modèle de langage peut traiter simultanément.

Un changement dans les données d'entrée du monde réel au fil du temps qui peut dégrader les performances du modèle.