Chinchilla Compute-Optimal trening
Chinchilla er et DeepMind-funn fra 2022 om at de fleste store språkmodeller var dårlig undertrent: For et fast beregningsbudsjett bør du skalere parametere og data omtrent likt, ikke bare bygge en større modell.
Oversikt
It reshaped how the industry balances model size against training data.
Dypdykk
DeepMinds Chinchilla-papir tok skaleringen på nytt og trente over 400 modeller for å finne den optimale balansen. Tommelfingerregelen for overskriften: modellstørrelse og treningsbrikker bør vokse i låstrinn, omtrent 20 treningsbrikker per parameter. For å bevise det trente de Chinchilla, en modell med 70 milliarder parametere på 1,4 billioner tokens, ved å bruke samme beregning som Gopher med 280 milliarder parametere trente på langt færre tokens. Til tross for at Chinchilla var fire ganger mindre, overgikk Gopher, GPT-3 og andre giganter på nesten alle benchmarks. Leksjonen omgjorde den tidligere OpenAI-konklusjonen som favoriserte størrelse fremfor data, og viste at mange flaggskipmodeller etterlot ytelsen på bordet ved å være for store og for datasultne.
Teknisk innsikt
Chinchilla-tilpasningstap som L(N,D) = E + A·N^(-α) + B·D^(-β), med α og β begge nær 0,34, noe som betyr at parametere og data bidrar nesten symmetrisk. Optimalisering av dette under en fast beregningsbegrensning (beregn ≈ 6·N·D for transformatorer) gir lik skaleringsresultat. En mindre, datarik modell er også billigere å kjøre ved slutning, så dens fordel kombineres i distribusjon, ikke bare trening.
Strategisk innvirkning
Tydeligere avgjørelser
Det hjelper deg å skille klare tekniske påstander fra markedsføringsspråk.
Cost and budget
Du kan stille bedre implementeringsspørsmål før du bruker penger eller tid.
Team and workflow
Team med delt forståelse tar bedre produkt-, policy- og læringsbeslutninger.
Fremtiden til Chinchilla Compute-Optimal Training
Moderne modeller som Llama 3 presser bevisst langt forbi Chinchillas 20-tokens-per-parameter-forhold, trener små modeller på billioner av tokens for å gjøre slutninger billige, og aksepterer suboptimal treningsberegning. Ettersom gode data blir knappe, øker interessen for gjentatte epoker, syntetiske data og kvalitetsfiltrering. Chinchilla forblir referansepunktet, men det optimale avhenger i økende grad av livstidsslutningskostnad, ikke bare engangsopplæringsbudsjettet.
Real-World Implementering
Å velge å trene en 7-milliarder-parameter-modell på 2 billioner tokens i stedet for en 30-milliarder-modell på for lite data for samme budsjett.
Anslår at en modell med 10 milliarder parametere vil ha omtrent 200 milliarder tokens for å treffe det beregningsoptimale søppelpunktet.
Rettferdiggjøring av en mindre utplassert modell for å redusere kostnadene per forespørsel, samtidig som den matcher kvaliteten til en større rival.
Revidere en eksisterende modell og konkludere at den var undertrent, og deretter planlegge en lengre treningskjøring i stedet for en parameterøkning.
Risikoer og rekkverk
Ulike team kan bruke samme begrep forskjellig, så definer omfang tidlig.
Benchmarks kan se sterke ut mens ytelsen i den virkelige verden er ujevn.
Å ignorere datakvalitet og evalueringsplaner skaper ofte skjøre resultater.
Veikart for implementering
Start med en klarspråklig definisjon av resultatet du trenger.
Velg én suksessberegning og én feilbetingelse før testing.
Kjør en liten pilot med representative data, ikke et polert demosett.
Dokumenter hvor Chinchilla Compute-Optimal Training hjelper og hvor enklere metoder er bedre.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Compute-Optimal Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Test-Time Training
Ofte stilte spørsmål
What is Chinchilla Compute-Optimal Training?
Chinchilla er et DeepMind-funn fra 2022 om at de fleste store språkmodeller var dårlig undertrent: For et fast beregningsbudsjett bør du skalere parametere og data omtrent likt, ikke bare bygge en større modell. Det endret hvordan bransjen balanserer modellstørrelse mot treningsdata.
Hva er Chinchillas berømte tommelfingerregel for dataoptimal trening?
DeepMind funnet parametere og tokens bør skaleres sammen til omtrent 20 tokens per parameter for et gitt beregningsbudsjett.
Hvordan sammenlignet 70B-parameteren Chinchilla med 280B-parameteren Gopher?
Opplært på langt flere tokens med samme beregning, slo Chinchilla den mye større Gopher på tvers av de fleste benchmarks.
Hvilket hovedproblem avslørte Chinchilla-avisen om tidligere store modeller?
Modeller som GPT-3 og Gopher var for store i forhold til treningsdataene deres, og gjorde ytelsen urealisert.
Omtrent hvor mange tokens foreslår Chinchilla-regelen for en modell med 10 milliarder parametere?
Ved 20 tokens per parameter, innebærer 10 milliarder parametere omtrent 200 milliarder treningssymboler.
Foruten treningseffektivitet, hvorfor er en mindre, datarik modell attraktiv i distribusjon?
Færre parametere betyr lavere beregning per spørring, så sparingen er sammensatt hver gang modellen brukes.