Qu'est-ce que Loi d'échelle?

Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.

Une configuration de formation dans laquelle un modèle s'améliore en générant des données via des interactions ou des compétitions avec des copies de lui-même.

Dans quelle mesure la logique, les sources de données et les limites d'un système d'IA sont documentées et compréhensibles.

Un changement dans les données d'entrée du monde réel au fil du temps qui peut dégrader les performances du modèle.

Dans quelle mesure un modèle fonctionne-t-il sur de nouvelles données invisibles en dehors de l'ensemble d'entraînement.

Un vecteur montrant dans quelle mesure chaque paramètre doit changer pour réduire les pertes.