Nchịkọta
Chinchilla bụ DeepMind nke afọ 2022 na-achọpụta na ọtụtụ ụdị asụsụ a na-azụghị nke ọma: maka usoro mmefu ego a kapịrị ọnụ, ị ga-atụba paramita na data n'otu n'otu, ọ bụghị naanị wulite ihe nlereanya ka ukwuu. Ọ megharịrị ka ụlọ ọrụ ahụ si edozi nha nlereanya megide data ọzụzụ.
Chinchilla Compute-Ọzụzụ kacha mma na-anọdụ na ngwa ngwa AI bụ isi. Mgbe ị ghọtara ya, isiokwu AI ndị ọzọ na-adị mfe ịtụle na atụnyere.
Ime miri emi
Akwụkwọ DeepMind's Chinchilla legharịala nlegharị anya wee zụọ ihe karịrị ụdị 400 ka ịchọta nguzozi kacha mma. Iwu isi mkpịsị aka: nha nlereanya na akara ọzụzụ kwesịrị itolite na mkpọchi, ihe dị ka akara ọzụzụ 20 kwa oke. Iji gosi ya, ha zụrụ Chinchilla, ihe nlere nha ijeri iri asaa na token 1.4, na-eji otu mgbakọ ahụ dị ka Gopher nke dị ijeri ijeri 280 zụrụ azụ na akara ole na ole. Chinchilla, n'agbanyeghị na ọ dị okpukpu anọ karịa, Gopher, GPT-3, na ndị dike ndị ọzọ na ihe fọrọ nke nta ka ọ bụrụ akara ngosi ọ bụla. Ihe nkuzi ahụ tụgharịrị nkwubi okwu OpenAI nke mbụ na nha dị mma karịa data, na-egosi ọtụtụ ụdị flagship na-ahapụ arụmọrụ na tebụl site n'ịdị ukwuu na agụụ data.
Nghọta nka nka
Chinchilla dabara ọnwụ dị ka L (N,D) = E + A·N ^ (-α) + B·D^ (-β), na α na β ma nso 0.34, nke pụtara paramita na data na-enye ihe fọrọ nke nta ka ọ bụrụ symmetrically. Ịmepụta nke a n'okpuru mmachi mgbagwoju anya (mgbakọ ≈ 6·N·D maka transformers) na-enye nsonaazụ nha anya. Ụdị dị ntakịrị, nke nwere data bara ụba dịkwa ọnụ ala iji na-agba ọsọ na ntinye aka, ya mere, uru ya bara uru na ntinye, ọ bụghị naanị ọzụzụ.
Ịkụzi Chinchilla Compute-Ọzụzụ kacha mma
Chinchilla bụ DeepMind nke afọ 2022 na-achọpụta na ọtụtụ ụdị asụsụ a na-azụghị nke ọma: maka usoro mmefu ego a kapịrị ọnụ, ị ga-atụba paramita na data n'otu n'otu, ọ bụghị naanị wulite ihe nlereanya ka ukwuu. Ọ megharịrị ka ụlọ ọrụ ahụ si edozi nha nlereanya megide data ọzụzụ. Chinchilla Compute-Ọzụzụ kacha mma na-anọdụ na ngwa ngwa AI bụ isi. Mgbe ị ghọtara ya, isiokwu AI ndị ọzọ na-adị mfe ịtụle na atụnyere. Iji wulite nghọta miri emi, na-emeso Chinchilla Compute-Optimal Training dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Chinchilla Compute-Optimal Training na-ebu ụzọ buru ụzọ mepụta ụdị echiche siri ike, wee mapụta ụdị ndị ahụ ka ọ bụrụ ezigbo mmachi mmepụta. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ka ọ bụrụ ike na-adịgide adịgide gafee ngwaahịa, amụma na arụmọrụ.
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa. N'otu oge ahụ, ndị otu dị iche iche nwere ike iji otu okwu dị iche iche, yabụ kọwapụta oke n'oge. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta Strategic
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa.
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge.
Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma.
Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ịhọrọ ịzụ ụdị ihe nrịbama ijeri 7 na token 2 trillion karịa ụdị ijeri 30 na obere data maka otu mmefu ego.
Na-eme atụmatụ na ihe atụ nke ijeri ijeri 10 chọrọ ihe ruru ijeri ijeri 200 ka ọ daa n'ebe dị ụtọ ịgbakọ kacha mma.
Igosipụta obere ihe nlere anya iji belata ọnụ ahịa ntinye ajụjụ ọ bụla ka ọ dabara n'ịdị mma onye na-ama ya.
Inyocha ụdịdị dị adị na imechi ya ka a zụrụ azụ, wee na-eme atụmatụ ịgba ọsọ ọzụzụ ogologo karịa karịa mmụba oke.
Usoro mmejuputa
Chinchilla Compute-Ọzụzụ kacha mma na omume
Ịhọrọ ịzụ ụdị ihe nrịbama ijeri 7 na token 2 trillion karịa ụdị ijeri 30 na obere data maka otu mmefu ego.
Ịhọrọ ịzụ ihe nlereanya 7-ijeri-parameter na tokens 2 ijeri karịa ihe atụ 30-ijeri na obere data maka otu mmefu ego otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ọnụ okwu ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Chinchilla Compute-Ọzụzụ kacha mma na omume
Na-eme atụmatụ na ihe atụ nke ijeri ijeri 10 chọrọ ihe ruru ijeri ijeri 200 ka ọ daa n'ebe dị ụtọ ịgbakọ kacha mma.
Na-eche na ihe atụ 10-ijeri-parameter chọrọ ihe ruru ijeri ijeri 200 ka ọ daa n'ọgụ kacha mma dị ụtọ Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'oge.
Chinchilla Compute-Ọzụzụ kacha mma na omume
Igosipụta obere ihe nlere anya iji belata ọnụ ahịa ntinye ajụjụ ọ bụla ka ọ dabara n'ịdị mma onye na-ama ya.
Igosipụta obere ihe nleba anya iji belata ọnụ ahịa ntinye ajụjụ ọ bụla ka ha na-adakọ otu njiri mara ndị otu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie n'oge.
Chinchilla Compute-Ọzụzụ kacha mma na omume
Inyocha ụdịdị dị adị na imechi ya ka a zụrụ azụ, wee na-eme atụmatụ ịgba ọsọ ọzụzụ ogologo karịa karịa mmụba oke.
Nyochaa ihe nlereanya dị ugbu a na imechi ya ka a na-azụghị ya, wee na-eme atụmatụ ịgba ọsọ ọzụzụ dị ogologo kama ịbawanye ụbara otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Otu dị iche iche nwere ike iji otu okwu ahụ mee ihe n'ụzọ dị iche, yabụ kọwapụta oge n'oge.
Ihe nrịbama nwere ike ịdị ike ebe arụmọrụ ụwa na-adaghị adaba.
Ileghara ogo data na atụmatụ nyocha anya na-emepụtakarị nsonaazụ na-adịghị mma.
Map mmejuputa
Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ.
Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale.
Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara.
Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Detuo ebe Chinchilla Compute-Ọzụzụ kacha mma na-enyere aka yana ebe ụzọ dị mfe ka mma.
Detuo ebe Chinchilla Compute-Ọzụzụ kacha mma na-enyere aka yana ebe ụzọ dị mfe ka mma. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.