Awọn ofin iwọntunwọnsi Chinchilla
Awọn ofin igbelosoke Chinchilla, lati DeepMind ni ọdun 2022, fihan pe pupọ julọ awọn awoṣe ede nla ni a ko ni ikẹkọ ti ko dara: fun isuna iṣiro ti o wa titi, o yẹ ki o ṣe iwọn iwọn awoṣe ati data ikẹkọ ni aijọju ni iwọn dogba.
Akopọ
It matters because it redefined what 'optimal' model size means and reshaped how labs spend compute.
Jin Dive
Ṣaaju Chinchilla, aṣa naa ni lati kọ awọn awoṣe ti o tobi ju lailai (bii 175B-parameter GPT-3) lakoko ikẹkọ lori awọn iwọn data iwọntunwọnsi. DeepMind ṣe ikẹkọ lori awọn awoṣe 400 kọja ọpọlọpọ awọn titobi ati awọn isuna data, lẹhinna ni ibamu awọn iha ti n sọ asọtẹlẹ pipadanu gẹgẹbi iṣẹ ti awọn paramita ati awọn ami labẹ iṣiro iṣiro ti o wa titi (FLOP). Wiwa wọn: awọn paramita ati awọn ami ikẹkọ yẹ ki o ṣe iwọn papọ, ni aijọju ipin 1-si-1, ti o tumọ si awọn ami-ami 20 ti data ikẹkọ fun paramita. Lati fi mule o, won ikẹkọ Chinchilla, a 70B-paramita awoṣe on 1,4 ẹgbaagbeje àmi, eyi ti outperformed awọn Elo o tobi 280B-paramita Gopher pelu a lilo kanna oniṣiro, nitori ti o ti oṣiṣẹ lori jina siwaju sii data.
Imọ-imọ-ẹrọ
Awọn ofin wa lati ibaramu iṣẹ isonu parametric L(N, D) nibiti N jẹ awọn paramita ati D jẹ awọn ami ami, pẹlu ipadanu-aibikita, iwọn awoṣe, ati awọn ofin iwọn data. Dinku ipadanu koko ọrọ si idiwọ iṣiro (iṣiro jẹ aijọju iwọn si awọn akoko N D) n mu abajade ti aipe N ati D mejeeji dagba bi agbara ti iṣiro pẹlu awọn olutaja ti o jọra, nitorinaa ipin-iṣiro to dara julọ duro nitosi awọn ami-ami 20 fun paramita.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ọjọ iwaju ti Awọn ofin Iwọn iwọn Chinchilla
Chinchilla yipada aaye lati lepa awọn iṣiro paramita si awọn awoṣe ifunni jijẹ data ti o ni agbara pupọ diẹ sii, ati pe awọn awoṣe ode oni nigbagbogbo ṣe ikẹkọ daradara ti o kọja aaye 'iṣiro-ti aipe' lati jẹ ki itọkasi din owo. Bi ọrọ oju opo wẹẹbu ti o ni agbara ti di ohun ti o ṣọwọn, akiyesi n yipada si ṣiṣatunṣe data, data sintetiki, awọn akoko pupọ, ati data multimodal lati tọju iwọn. Ẹkọ mojuto duro: data ati awọn paramita gbọdọ jẹ iwọntunwọnsi, ati iwọn aise nikan kii ṣe ibi-afẹde mọ.
Real-World imuse
Paramita DeepMind's 70B-parameter Chinchilla lilu 280B Gopher lori awọn aṣepari nipa lilo iṣiro dogba, nipa ikẹkọ lori data pupọ sii
Awọn ẹgbẹ didari lati ṣe isuna aijọju awọn ami ikẹkọ 20 fun paramita kan nigbati o ba gbero awoṣe lati ibere
Idalare kere, awọn awoṣe ọlọrọ data bi LLAMA ti o din owo lati ṣiṣẹ ni akoko itọkasi
Iṣiro boya awoṣe ti a gbero jẹ 'aiṣedeede' ati pe yoo ni anfani diẹ sii lati data afikun ju awọn paramita afikun
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Scaling Laws quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn Ofin Iwọn fun Awọn Nẹtiwọọki Neural
Awọn ibeere ti a beere nigbagbogbo
What is Chinchilla Scaling Laws?
Awọn ofin igbelosoke Chinchilla, lati DeepMind ni ọdun 2022, fihan pe pupọ julọ awọn awoṣe ede nla ni a ko ni ikẹkọ ti ko dara: fun isuna iṣiro ti o wa titi, o yẹ ki o ṣe iwọn iwọn awoṣe ati data ikẹkọ ni aijọju ni iwọn dogba. O ṣe pataki nitori pe o ṣe atunkọ kini iwọn awoṣe 'ti aipe' tumọ si ati tun ṣe bi awọn ile-iṣẹ ṣe n lo iṣiro.
Kini wiwa aarin ti awọn ofin irẹjẹ Chinchilla?
Chinchilla fihan pe fun isuna iṣiro ti o wa titi, awọn paramita ati awọn ami ikẹkọ yẹ ki o dagba papọ, ni aijọju 1-si-1.
O fẹrẹ to awọn ami ikẹkọ melo ni paramita ni Chinchilla daba pe o dara julọ?
Iwọn iṣiro-ti aipe ṣiṣẹ jade si aijọju awọn ami ikẹkọ 20 fun gbogbo paramita awoṣe.
Awoṣe wo ni Chinchilla ṣe ju bi o ti jẹ pe o kere pupọ?
70B-paramita Chinchilla lu DeepMind ti ara 280B-paramita Gopher lilo kanna oniṣiro, nitori ti o oṣiṣẹ lori jina siwaju sii data.
Kini Chinchilla tumọ si nipa awọn awoṣe bii GPT-3 ni akoko yẹn?
Ọpọlọpọ awọn awoṣe nla ti akoko yẹn ko ni ikẹkọ, afipamo pe wọn yoo ti ṣe dara julọ pẹlu data pupọ diẹ sii fun kika paramita wọn.
Ni aijọju bawo ni iṣiro ṣe isunmọ ni itupalẹ Chinchilla?
Iṣiro ikẹkọ (FLOPs) jẹ isunmọ iwọn si nọmba awọn aye ti a pọ nipasẹ nọmba awọn ami ikẹkọ.