Qu'est-ce que Attention multi-têtes?

Une architecture neuronale qui utilise l'attention pour modéliser les relations entre les séquences en parallèle.

Une technique de récupération qui réécrit la requête de l'utilisateur en plusieurs variantes pour améliorer le rappel.

Un composant de modèle qui se concentre dynamiquement sur les parties pertinentes d'une entrée lors de la production d'une sortie.

Un algorithme d'attention optimisé qui réduit l'utilisation de la mémoire et accélère la formation et l'inférence des transformateurs.

Un modèle capable de traiter ou de générer plusieurs types de données tels que du texte, des images et de l'audio.

Une structure graphique d'entités et de relations utilisée pour le raisonnement ou la récupération.