Qu'est-ce que Taille?

Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.

Relation empirique montrant comment les performances s'améliorent avec la taille du modèle, les données ou le calcul.

Un modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.

L'algorithme de formation de base qui met à jour les pondérations du modèle en propageant les erreurs de prédiction vers l'arrière à travers le réseau.

Les ressources de traitement nécessaires pour entraîner et exécuter des modèles, souvent mesurées en heures FLOPS ou GPU.

Un vecteur montrant dans quelle mesure chaque paramètre doit changer pour réduire les pertes.