Qu'est-ce que Dégradé?

Un hyperparamètre de formation contrôlant la quantité de paramètres modifiés à chaque étape de mise à jour.

Relation empirique montrant comment les performances s'améliorent avec la taille du modèle, les données ou le calcul.

Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.

Une configuration générative où un générateur et un discriminateur s'entraînent l'un contre l'autre.

Dans quelle mesure un modèle fonctionne-t-il sur de nouvelles données invisibles en dehors de l'ensemble d'entraînement.

Une méthode d'optimisation qui met à jour les paramètres dans le sens qui réduit les erreurs.