Iwu maka ịchacha chinchilla
Iwu Chinchilla scaling, sitere na DeepMind na 2022, gosiri na ọtụtụ ụdị asụsụ a na-azụghị nke ọma: maka mmefu ego a kapịrị ọnụ, ị kwesịrị itule nha ihe atụ na data ọzụzụ n'otu n'otu.
Nchịkọta
It matters because it redefined what 'optimal' model size means and reshaped how labs spend compute.
Ime miri emi
Tupu Chinchilla, ihe a na-eme bụ iwulite ụdịdị ka ukwuu (dị ka 175B-parameter GPT-3) ka ọ na-azụ na obere data. DeepMind zụrụ ihe karịrị ụdị 400 n'ofe ọtụtụ nha na mmefu ego data, wee dabara akụkụ nke na-ebu amụma ọnwụ dị ka ọrụ nke paramita na token n'okpuru atụmatụ mmefu ego (FLOP). Nchọpụta ha: paramita na akara ọzụzụ kwesịrị ịgbakọ ọnụ, dịka nha 1 ruo 1, na-egosi ihe dị ka akara 20 nke data ọzụzụ kwa oke. Iji gosi ya, ha zụrụ Chinchilla, ihe atụ 70B-parameter na token 1.4 trillion, nke karịrị Gopher 280B-parameter ka ukwuu n'agbanyeghị iji otu mgbakọ ahụ, n'ihi na a zụrụ ya na data ndị ọzọ.
Nghọta nka nka
Iwu ndị a na-abịa site na ịkwado ọrụ mfu parametric L(N, D) ebe N bụ paramita na D bụ akara ngosi, gụnyere enweghị mfu, nha nlereanya, na usoro nha data. Ibelata mfu n'okpuru mgbochi mgbako (mgbakọ na-adaba n'oge N ugboro D) na-ebute nsonaazụ na N na D kachasị mma na-eto dị ka ike nke ịgbakọ na ihe ndị yiri ya, ya mere ọnụ ọgụgụ kacha mma na-anọ nso 20 tokens kwa paramita.
Mmetụta atụmatụ
Ọsọ na ọnụ ọgụgụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Nweta na iru
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Mkpebi doro anya
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ọdịnihu nke Iwu Ịkọba Chinchilla
Chinchilla gbanwere ogige ahụ site n'ịchụso ọnụ ọgụgụ paramita gaa na-enye ụdị data dị elu karịa, na ụdị ọgbara ọhụrụ na-azụkarị nke ọma n'ókè 'mgbakọ kacha mma' iji mee ka ọnụahịa dị ọnụ ala. Ka ederede webụ dị elu na-adị ụkọ, nlebara anya na-atụgharị na nhazi data, data sịntetik, ọtụtụ oge, na data multimodal iji nọgide na-akpụ akpụ. Isi ihe nkuzi na-adịgide: data na paramita ga-abụrịrị nke ziri ezi, na nha naanị ya abụghịzi ebumnuche.
Mmejuputa n'ezie n'ụwa
DeepMind's 70B-parameter Chinchilla na-eti 280B Gopher na benchmarks na-eji nha nha, site na ọzụzụ na data ndị ọzọ.
Ndị otu na-eduzi ka ha na-emefu ego ihe dị ka akara ọzụzụ ọzụzụ 20 n'otu oke mgbe ha na-eme atụmatụ ihe nlere anya.
Na-ekwupụta ụdị dị nta, ụdị data bara ụba dị ka LLMA dị ọnụ ala karịa iji na-agba ọsọ n'oge ntinye
Na-eme atụmatụ ma ụdịdị echere na ọ 'na-azụghị ya' na ọ ga-erite uru karịa data mgbakwunye karịa paramita ndị ọzọ
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Scaling Laws quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Iwu mkpali maka netwọkụ akwara ozi
Ajụjụ a na-ajụkarị
What is Chinchilla Scaling Laws?
Iwu Chinchilla scaling, sitere na DeepMind na 2022, gosiri na ọtụtụ ụdị asụsụ a na-azụghị nke ọma: maka mmefu ego a kapịrị ọnụ, ị kwesịrị itule nha ihe atụ na data ọzụzụ n'otu n'otu. Ọ dị mkpa n'ihi na ọ kọwagharịrị ihe nha ụdị 'kachasị mma' pụtara wee gbanwee ka ụlọ nyocha na-eji agbakọ.
Kedu ihe bụ isi nchoputa nke iwu nchacha nke Chinchilla?
Chinchilla gosiri na maka mmefu ego agbakọ agbakọ, paramita na akara ọzụzụ kwesịrị itokọ ọnụ, ihe dịka 1-to-1.
Ihe dị ka akara akara ọzụzụ ole n'otu oke ka Chinchilla tụrụ aro ka ọ dị mma?
Oke compute-kachasị mma na-arụ ọrụ ruo ihe ruru akara ọzụzụ 20 maka oke ụdị ọ bụla.
Kedu ihe nlereanya Chinchilla mere n'agbanyeghị na ọ pere mpe?
Oke 70B Chinchilla meriri DeepMind nke ya 280B-parameter Gopher site na iji otu mgbakọ ahụ, n'ihi na ọ zụrụ azụ na data ndị ọzọ.
Kedu ihe Chinchilla pụtara gbasara ụdị dịka GPT-3 n'oge ahụ?
A zụrụ ọtụtụ nnukwu ụdị nke oge ahụ, nke pụtara na ha gaara arụ ọrụ nke ọma na ọtụtụ data maka ọnụ ọgụgụ ha.
Kedu ka esi gbakọọ mkpokọta na nyocha Chinchilla?
Mgbakọ ọzụzụ (FLOPs) bụ ihe nhata na ọnụ ọgụgụ nke paramita mụbara site na ọnụọgụ akara ngosi ọzụzụ.