Chinchilla Compute-Ti aipe Ikẹkọ
Chinchilla jẹ wiwa DeepMind 2022 pe ọpọlọpọ awọn awoṣe ede ti o tobi julọ ni a ko ni ikẹkọ ko dara: fun isuna iṣiro ti o wa titi o yẹ ki o ṣe iwọn awọn aye ati data ni aijọju deede, kii ṣe kọ awoṣe nla kan nikan.
Akopọ
It reshaped how the industry balances model size against training data.
Jin Dive
Iwe DeepMind's Chinchilla ṣe atunyẹwo igbelowọn ati ikẹkọ ju awọn awoṣe 400 lọ lati wa iwọntunwọnsi-iṣiro ti o dara julọ. Ofin akọle ti atanpako: iwọn awoṣe ati awọn ami ikẹkọ yẹ ki o dagba ni titiipa, ni aijọju awọn ami ikẹkọ 20 fun paramita. Lati fi idi rẹ mulẹ, wọn ṣe ikẹkọ Chinchilla, awoṣe paramita 70-biliọnu kan lori awọn ami-ami 1.4 aimọye, ni lilo iṣiro kanna bi 280-bilionu-paramita Gopher ti o gba ikẹkọ lori awọn ami ti o kere pupọ. Chinchilla, botilẹjẹpe o kere si ni igba mẹrin, o tayọ Gopher, GPT-3, ati awọn omiran miiran lori fere gbogbo ala. Ẹkọ naa dopin ipari OpenAI iṣaaju pe iwọn ti o fẹran ju data lọ, ti n ṣafihan ọpọlọpọ awọn awoṣe flagship n lọ kuro ni iṣẹ lori tabili nipa jijẹ nla ati data-ebi.
Imọ-imọ-ẹrọ
Chinchilla fit pipadanu bi L (N, D) = E + A·N ^ (-α) + B·D ^ (-β), pẹlu α ati β mejeeji nitosi 0.34, itumo paramita ati data tiwon fere symmetrically. Ti o dara ju eyi labẹ idiwọ iṣiro ti o wa titi (iṣiro ≈ 6 · N · D fun awọn oluyipada) n mu abajade iwọn-dogba. Awoṣe ti o kere ju, data-ọlọrọ tun jẹ din owo lati ṣiṣẹ ni itọkasi, nitorinaa awọn agbo ogun anfani rẹ ni imuṣiṣẹ, kii ṣe ikẹkọ nikan.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ọjọ iwaju ti Chinchilla Compute-Ti aipe Ikẹkọ
Awọn awoṣe ode oni bii Llama 3 mọọmọ Titari jinna ti Chinchilla's 20-tokens-per-parameter ratio, ikẹkọ awọn awoṣe kekere lori awọn aimọye ti awọn ami-ami lati jẹ ki o jẹ olowo poku, gbigba iṣiro ikẹkọ suboptimal. Bi data ti o dara ti n dagba diẹ sii, iwulo n dagba ni awọn akoko ti o leralera, data sintetiki, ati sisẹ didara. Chinchilla jẹ aaye itọkasi, ṣugbọn ilọsiwaju ti o dara julọ da lori idiyele idiyele igbesi aye, kii ṣe isuna ikẹkọ akoko kan nikan.
Real-World imuse
Yiyan lati ṣe ikẹkọ awoṣe 7-bilionu-paramita kan lori awọn ami ami 2 aimọye dipo awoṣe 30-bilionu kan lori data kekere ju fun isuna kanna.
Iṣiro pe awoṣe paramita 10-biliọnu kan fẹ awọn ami ami aijọju 200 bilionu lati kọlu aaye didùn ti o dara julọ.
Idalare awoṣe ti a fi ranṣẹ lati dinku awọn idiyele itọkasi ibeere-kọọkan lakoko ti o baamu didara orogun nla kan.
Ṣiṣayẹwo awoṣe ti o wa tẹlẹ ati ipari rẹ ko ni ikẹkọ, lẹhinna gbero ṣiṣe ikẹkọ to gun dipo ilosoke paramita kan.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Chinchilla Compute-Ti aipe Ikẹkọ ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Compute-Optimal Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Idanileko-Aago Idanwo
Awọn ibeere ti a beere nigbagbogbo
What is Chinchilla Compute-Optimal Training?
Chinchilla jẹ wiwa DeepMind 2022 pe ọpọlọpọ awọn awoṣe ede ti o tobi julọ ni a ko ni ikẹkọ ko dara: fun isuna iṣiro ti o wa titi o yẹ ki o ṣe iwọn awọn aye ati data ni aijọju deede, kii ṣe kọ awoṣe nla kan nikan. O ṣe atunṣe bii ile-iṣẹ ṣe iwọntunwọnsi iwọn awoṣe lodi si data ikẹkọ.
Kini ofin atanpako olokiki ti Chinchilla fun iṣiro-ti aipe ikẹkọ?
DeepMind ri awọn paramita ati awọn ami yẹ ki o ṣe iwọn papọ ni aijọju awọn ami-ami 20 fun paramita kan fun isuna iṣiro iṣiro kan.
Bawo ni 70B-paramita Chinchilla afiwe si 280B-paramita Gopher?
Ti kọ ẹkọ lori awọn ami-ami pupọ diẹ sii pẹlu iṣiro kanna, Chinchilla lu Gopher ti o tobi pupọ julọ kọja awọn ami-ami pupọ julọ.
Iṣoro bọtini wo ni iwe Chinchilla ṣafihan nipa awọn awoṣe nla ṣaaju?
Awọn awoṣe bii GPT-3 ati Gopher jẹ ibatan ti o tobi ju si data ikẹkọ wọn, nlọ iṣẹ ṣiṣe airotẹlẹ.
O fẹrẹ to awọn ami-ami melo ni ofin Chinchilla daba fun awoṣe paramita 10-bilionu kan?
Ni 20 àmi fun paramita, 10 bilionu paramita tumo si nipa 200 bilionu ikẹkọ àmi.
Yato si ṣiṣe ikẹkọ, kilode ti o kere, awoṣe ọlọrọ data jẹ wuni ni imuṣiṣẹ?
Awọn paramita diẹ tumọ si iṣiro ibeere-kekere, nitorinaa idapọmọra ifowopamọ ni gbogbo igba ti awoṣe ba lo.