Transformateurs

L'attention calcule la quantité d'informations qu'une position doit tirer des autres positions. Dans une formulation courante, les projections apprises produisent des requêtes, des clés et des valeurs. Les comparaisons de clés de requête déterminent les pondérations utilisées pour combiner les valeurs. Plusieurs têtes d’attention permettent plusieurs combinaisons de ce type au sein d’une couche. Une couche de transformateur comprend également d'autres opérations, telles qu'un réseau à action directe, une normalisation et des connexions résiduelles. Les informations de position sont nécessaires car l'ordre des mots ou d'autres éléments de séquence est important. Les implémentations spécifiques diffèrent dans la manière dont elles représentent la position et organisent ces opérations. Le transformateur original de 2017 utilisait une conception encodeur-décodeur pour la traduction. Les modèles ultérieurs utilisent des arrangements d'encodeur uniquement, de décodeur uniquement ou d'encodeur-décodeur pour différents objectifs. Un modèle de langage causal empêche une position de s'occuper des futurs jetons lors de la prédiction du prochain jeton. Cette contrainte diffère du traitement bidirectionnel d’une entrée complète. L'attention portée aux longues séquences peut être coûteuse en calcul. Les systèmes pratiques utilisent diverses optimisations, mais une limite de contexte annoncée ne prouve pas que le modèle utilise de manière fiable chaque partie d'un long document. Récupération de tests, raisonnement et suivi des instructions selon la longueur réelle dont votre application a besoin.