Qu'est-ce que Rétropropagation?

Un objectif mathématique qui quantifie l'erreur de prédiction lors de l'entraînement.

Une valeur numérique apprise qui met à l'échelle les signaux transitant par un réseau neuronal.

Un algorithme d'attention optimisé qui réduit l'utilisation de la mémoire et accélère la formation et l'inférence des transformateurs.

Une configuration de formation dans laquelle un modèle s'améliore en générant des données via des interactions ou des compétitions avec des copies de lui-même.

Lorsque des exemples de tests de référence ou des variantes proches sont présents dans les données d'entraînement, cela gonfle les performances déclarées.

Un algorithme de tokenisation de sous-mots qui fusionne les paires de caractères les plus fréquentes en jetons réutilisables.