Entraînement optimal pour le calcul du chinchilla
Chinchilla est une découverte de DeepMind de 2022 selon laquelle la plupart des grands modèles de langage étaient mal sous-entraînés : pour un budget de calcul fixe, vous devez mettre à l'échelle les paramètres et les données à peu près de manière égale, et pas seulement créer un modèle plus grand.
Aperçu
It reshaped how the industry balances model size against training data.
Plongée profonde
L'article Chinchilla de DeepMind a revisité la mise à l'échelle et formé plus de 400 modèles pour trouver l'équilibre optimal en matière de calcul. La règle générale : la taille du modèle et les jetons de formation doivent croître au même rythme, environ 20 jetons de formation par paramètre. Pour le prouver, ils ont formé Chinchilla, un modèle de 70 milliards de paramètres sur 1,4 billion de jetons, en utilisant le même calcul que le Gopher de 280 milliards de paramètres formé sur beaucoup moins de jetons. Chinchilla, bien qu'il soit quatre fois plus petit, a surpassé Gopher, GPT-3 et d'autres géants sur presque tous les points de référence. La leçon a renversé la conclusion précédente de OpenAI qui privilégiait la taille aux données, montrant que de nombreux modèles phares laissaient les performances sur la table en étant trop gros et trop gourmands en données.
Aperçu technique
Perte d'ajustement du chinchilla comme L(N,D) = E + A·N^(-α) + B·D^(-β), avec α et β tous deux proches de 0,34, ce qui signifie que les paramètres et les données contribuent de manière presque symétrique. L'optimisation de cela sous une contrainte de calcul fixe (calcul ≈ 6·N·D pour les transformateurs) donne le résultat d'une mise à l'échelle égale. Un modèle plus petit et riche en données est également moins coûteux à exécuter en inférence, de sorte que son avantage s'accroît dans le déploiement, et pas seulement dans la formation.
Impact stratégique
Décisions plus claires
Il vous aide à séparer les affirmations techniques claires du langage marketing.
Coût et budget
Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
Équipe et flux de travail
Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
L'avenir de la formation Chinchilla Compute-Optimal
Les modèles modernes comme Llama 3 dépassent délibérément le ratio de 20 jetons par paramètre de Chinchilla, en entraînant de petits modèles sur des milliards de jetons pour rendre l'inférence bon marché, en acceptant un calcul d'entraînement sous-optimal. À mesure que les bonnes données se raréfient, l’intérêt pour les époques répétées, les données synthétiques et le filtrage de qualité augmente. Le chinchilla reste le point de référence, mais l'optimum dépend de plus en plus du coût d'inférence sur la durée de vie, et pas seulement du budget d'entraînement ponctuel.
Mise en œuvre dans le monde réel
Choisir de former un modèle de 7 milliards de paramètres sur 2 000 milliards de jetons plutôt qu'un modèle de 30 milliards sur trop peu de données pour le même budget.
On estime qu'un modèle de 10 milliards de paramètres nécessite environ 200 milliards de jetons pour atteindre le point idéal de calcul optimal.
Justifier un modèle déployé plus petit pour réduire les coûts d'inférence par requête tout en égalant la qualité d'un rival plus grand.
Auditer un modèle existant et conclure qu'il était sous-entraîné, puis planifier une formation plus longue au lieu d'une augmentation des paramètres.
Risques et garde-fous
Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Feuille de route de mise en œuvre
Commencez par une définition en langage simple du résultat dont vous avez besoin.
Choisissez une mesure de réussite et une condition d’échec avant de tester.
Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
Documentez où la formation Chinchilla Compute-Optimal est utile et où les méthodes plus simples sont meilleures.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Compute-Optimal Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Formation en période de test
Questions fréquemment posées
What is Chinchilla Compute-Optimal Training?
Chinchilla est une découverte de DeepMind de 2022 selon laquelle la plupart des grands modèles de langage étaient mal sous-entraînés : pour un budget de calcul fixe, vous devez mettre à l'échelle les paramètres et les données à peu près de manière égale, et pas seulement créer un modèle plus grand. Il a remodelé la façon dont l'industrie équilibre la taille du modèle par rapport aux données de formation.
Quelle est la célèbre règle empirique de Chinchilla pour un entraînement optimal en calcul ?
DeepMind a découvert que les paramètres et les jetons devraient évoluer ensemble à environ 20 jetons par paramètre pour un budget de calcul donné.
Comment le Chinchilla à paramètre 70B se compare-t-il au Gopher à paramètre 280B ?
Entraîné sur beaucoup plus de jetons avec le même calcul, Chinchilla a battu le Gopher, beaucoup plus grand, dans la plupart des tests.
Quel problème clé l’article Chinchilla a-t-il révélé concernant les grands modèles précédents ?
Des modèles comme GPT-3 et Gopher étaient trop volumineux par rapport à leurs données d'entraînement, laissant les performances non réalisées.
Environ combien de jetons la règle Chinchilla suggère-t-elle pour un modèle de 10 milliards de paramètres ?
À 20 jetons par paramètre, 10 milliards de paramètres impliquent environ 200 milliards de jetons de formation.
Outre l’efficacité de la formation, pourquoi un modèle plus petit et riche en données est-il attrayant lors du déploiement ?
Moins de paramètres signifient un calcul par requête inférieur, de sorte que les économies s'accumulent à chaque fois que le modèle est utilisé.