Les chercheurs de Apple rapportent une loi de mise à l'échelle pour les modèles de formation avec des données rares
Une étude portant sur plus de 2 000 exécutions de formation sur des modèles de langage indique que des données cibles rares peuvent être répétées 15 à 20 fois dans des mélanges, le meilleur taux variant selon l'échelle et le calcul.