Lois sur la mise à l'échelle des chinchillas
Les lois de mise à l'échelle Chinchilla, de DeepMind en 2022, ont montré que la plupart des grands modèles de langage étaient mal entraînés : pour un budget de calcul fixe, vous devez mettre à l'échelle la taille du modèle et les données d'entraînement dans des proportions à peu près égales.
Aperçu
It matters because it redefined what 'optimal' model size means and reshaped how labs spend compute.
Plongée profonde
Avant Chinchilla, la tendance était de construire des modèles toujours plus grands (comme le GPT-3 à paramètres 175B) tout en s'entraînant sur des quantités de données relativement modestes. DeepMind a entraîné plus de 400 modèles sur de nombreuses tailles et budgets de données, puis a ajusté des courbes prédisant les pertes en fonction de paramètres et de jetons dans le cadre d'un budget de calcul fixe (FLOP). Leur conclusion : les paramètres et les jetons d'entraînement devraient évoluer ensemble, dans un rapport d'environ 1 pour 1, ce qui implique environ 20 jetons de données d'entraînement par paramètre. Pour le prouver, ils ont formé Chinchilla, un modèle à paramètres 70B sur 1,4 billion de jetons, qui a surpassé le Gopher beaucoup plus grand à paramètres 280B malgré l'utilisation du même calcul, car il a été formé sur beaucoup plus de données.
Aperçu technique
Les lois proviennent de l'ajustement d'une fonction de perte paramétrique L(N, D) où N représente les paramètres et D les jetons, y compris les termes de perte irréductible, de taille de modèle et de taille de données. La minimisation de la perte soumise à une contrainte de calcul (le calcul est à peu près proportionnel à N fois D) donne le résultat que les N et D optimaux croissent tous deux en tant que puissance de calcul avec des exposants similaires, de sorte que le rapport optimal de calcul reste proche de 20 jetons par paramètre.
Impact stratégique
Vitesse et échelle
Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
Accès et portée
Il étend l’accès à toutes les langues et styles de communication.
Décisions plus claires
Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
L’avenir des lois sur la mise à l’échelle des chinchillas
Chinchilla a déplacé le domaine de la recherche du nombre de paramètres vers l'alimentation des modèles avec des données de bien plus haute qualité, et les modèles modernes s'entraînent souvent bien au-delà du point « optimal de calcul » pour rendre l'inférence moins chère. Alors que les textes Web de haute qualité se raréfient, l’attention se tourne vers la conservation des données, les données synthétiques, les époques multiples et les données multimodales pour continuer à évoluer. La leçon fondamentale demeure : les données et les paramètres doivent être équilibrés, et la taille brute seule n’est plus l’objectif.
Mise en œuvre dans le monde réel
Le Chinchilla à paramètres 70B de DeepMind bat le Gopher 280B sur des tests de performance utilisant un calcul égal, en s'entraînant sur beaucoup plus de données
Guider les équipes à budgétiser environ 20 jetons de formation par paramètre lors de la planification d'un modèle à partir de zéro
Justifier des modèles plus petits et riches en données comme LLaMA, qui sont moins chers à exécuter au moment de l'inférence
Estimer si un modèle prévu est « sous-entraîné » et bénéficierait davantage de données supplémentaires que de paramètres supplémentaires
Risques et garde-fous
Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Feuille de route de mise en œuvre
Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Scaling Laws quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Lois de mise à l'échelle pour les réseaux de neurones
Questions fréquemment posées
What is Chinchilla Scaling Laws?
Les lois de mise à l'échelle Chinchilla, de DeepMind en 2022, ont montré que la plupart des grands modèles de langage étaient mal entraînés : pour un budget de calcul fixe, vous devez mettre à l'échelle la taille du modèle et les données d'entraînement dans des proportions à peu près égales. C’est important car il a redéfini ce que signifie la taille « optimale » du modèle et remodelé la façon dont les laboratoires dépensent en calcul.
Quelle a été la découverte centrale des lois d’échelle du Chinchilla ?
Chinchilla a montré que pour un budget de calcul fixe, les paramètres et les jetons d'entraînement devraient croître ensemble, à peu près de 1 pour 1.
Selon Chinchilla, combien de jetons d'entraînement par paramètre sont environ optimaux pour le calcul ?
Le ratio de calcul optimal équivaut à environ 20 jetons de formation pour chaque paramètre du modèle.
Quel modèle Chinchilla a-t-il surpassé bien qu'il soit beaucoup plus petit ?
Le Chinchilla à paramètre 70B a battu le Gopher à paramètre 280B de DeepMind en utilisant le même calcul, car il s'est entraîné sur beaucoup plus de données.
Qu'est-ce que Chinchilla impliquait à l'époque à propos de modèles comme GPT-3 ?
De nombreux grands modèles de cette époque étaient sous-entraînés, ce qui signifie qu'ils auraient mieux fonctionné avec beaucoup plus de données pour le nombre de paramètres.
À peu près, comment le calcul a-t-il été approximé dans l’analyse Chinchilla ?
Le calcul d'entraînement (FLOP) est approximativement proportionnel au nombre de paramètres multiplié par le nombre de jetons d'entraînement.