Nchịkọta
Iwu Chinchilla scaling, sitere na DeepMind na 2022, gosiri na ọtụtụ ụdị asụsụ a na-azụghị nke ọma: maka mmefu ego a kapịrị ọnụ, ị kwesịrị itule nha ihe atụ na data ọzụzụ n'otu n'otu. Ọ dị mkpa n'ihi na ọ kọwagharịrị ihe nha ụdị 'kachasị mma' pụtara wee gbanwee ka ụlọ nyocha na-eji agbakọ.
Iwu Chinchilla Scaling bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Tupu Chinchilla, ihe a na-eme bụ iwulite ụdịdị ka ukwuu (dị ka 175B-parameter GPT-3) ka ọ na-azụ na obere data. DeepMind zụrụ ihe karịrị ụdị 400 n'ofe ọtụtụ nha na mmefu ego data, wee dabara akụkụ nke na-ebu amụma ọnwụ dị ka ọrụ nke paramita na token n'okpuru atụmatụ mmefu ego (FLOP). Nchọpụta ha: paramita na akara ọzụzụ kwesịrị ịgbakọ ọnụ, dịka nha 1 ruo 1, na-egosi ihe dị ka akara 20 nke data ọzụzụ kwa oke. Iji gosi ya, ha zụrụ Chinchilla, ihe atụ 70B-parameter na token 1.4 trillion, nke karịrị Gopher 280B-parameter ka ukwuu n'agbanyeghị iji otu mgbakọ ahụ, n'ihi na a zụrụ ya na data ndị ọzọ.
Nghọta nka nka
Iwu ndị a na-abịa site na ịkwado ọrụ mfu parametric L(N, D) ebe N bụ paramita na D bụ akara ngosi, gụnyere enweghị mfu, nha nlereanya, na usoro nha data. Ibelata mfu n'okpuru mgbochi mgbako (mgbakọ na-adaba n'oge N ugboro D) na-ebute nsonaazụ na N na D kachasị mma na-eto dị ka ike nke ịgbakọ na ihe ndị yiri ya, ya mere ọnụ ọgụgụ kacha mma na-anọ nso 20 tokens kwa paramita.
Ịmụta Iwu Ịkọba Chinchilla
Iwu Chinchilla scaling, sitere na DeepMind na 2022, gosiri na ọtụtụ ụdị asụsụ a na-azụghị nke ọma: maka mmefu ego a kapịrị ọnụ, ị kwesịrị itule nha ihe atụ na data ọzụzụ n'otu n'otu. Ọ dị mkpa n'ihi na ọ kọwagharịrị ihe nha ụdị 'kachasị mma' pụtara wee gbanwee ka ụlọ nyocha na-eji agbakọ. Iwu Chinchilla Scaling bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, were Chinchilla Scaling Laws dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwapụta nsonaazụ achọrọ, dokwuo anya echiche, kewaa ihe sistemụ ahụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Chinchilla Scaling Laws chepụta mkpali, iweghachi, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ka ọ bụrụ ike na-adịgide adịgide gafee ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta Strategic
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Otu dị iche iche nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Otu dị iche iche nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
DeepMind's 70B-parameter Chinchilla na-eti 280B Gopher na benchmarks na-eji nha nha, site na ọzụzụ na data ndị ọzọ.
Ndị otu na-eduzi ka ha na-emefu ego ihe dị ka akara ọzụzụ ọzụzụ 20 n'otu oke mgbe ha na-eme atụmatụ ihe nlere anya.
Na-ekwupụta ụdị dị nta, ụdị data bara ụba dị ka LLMA dị ọnụ ala karịa iji na-agba ọsọ n'oge ntinye
Na-eme atụmatụ ma ụdịdị echere na ọ 'na-azụghị ya' na ọ ga-erite uru karịa data mgbakwunye karịa paramita ndị ọzọ
Usoro mmejuputa
Chinchilla Scaling Iwu na omume
DeepMind's 70B-parameter Chinchilla na-eti 280B Gopher na benchmark na-eji nha nha, site na ọzụzụ na data ndị ọzọ.
DeepMind's 70B-parameter Chinchilla na-eti 280B Gopher na benchmarks na-eji nha nha, site na ọzụzụ na ọtụtụ data Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ihu, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Chinchilla Scaling Iwu na omume
Ndị otu na-eduzi ka ha na-emefu ego ihe dị ka akara ọzụzụ ọzụzụ 20 n'otu oke mgbe ha na-eme atụmatụ ihe nlere anya.
Ndị otu na-eduzi ka ha na-emefu ego ihe dị ka akara ọzụzụ ọzụzụ 20 n'otu oke mgbe ha na-eme atụmatụ usoro ihe nlere anya, otu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Chinchilla Scaling Iwu na omume
Na-ekwupụta ụdị dị nta, ụdị data bara ụba dị ka LLMA dị ọnụ ala karịa iji na-agba ọsọ n'oge ntinye.
Igosipụta obere, ụdị data bara ụba dị ka LLAMA nke dị ọnụ ala karịa iji na-agba ọsọ n'oge ntinye aka Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.
Chinchilla Scaling Iwu na omume
Na-eme atụmatụ ma ụdịdị echere na ọ 'na-azụghị ya' na ọ ga-erite uru karịa data mgbakwunye karịa paramita ndị ọzọ.
Na-eche ma a 'na-azụghị' ihe nlereanya echere na ọ ga-erite uru karịa data ndị ọzọ karịa agbakwunyere otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.