Chinchilla Compute-Ọzụzụ kacha mma
Chinchilla bụ DeepMind nke afọ 2022 na-achọpụta na ọtụtụ ụdị asụsụ a na-azụghị nke ọma: maka usoro mmefu ego a kapịrị ọnụ, ị ga-atụba paramita na data n'otu n'otu, ọ bụghị naanị wulite ihe nlereanya ka ukwuu.
Nchịkọta
It reshaped how the industry balances model size against training data.
Ime miri emi
Akwụkwọ DeepMind's Chinchilla legharịala nlegharị anya wee zụọ ihe karịrị ụdị 400 ka ịchọta nguzozi kacha mma. Iwu isi mkpịsị aka: nha nlereanya na akara ọzụzụ kwesịrị itolite na mkpọchi, ihe dị ka akara ọzụzụ 20 kwa oke. Iji gosi ya, ha zụrụ Chinchilla, ihe nlere nha ijeri iri asaa na token 1.4, na-eji otu mgbakọ ahụ dị ka Gopher nke dị ijeri ijeri 280 zụrụ azụ na akara ole na ole. Chinchilla, n'agbanyeghị na ọ dị okpukpu anọ karịa, Gopher, GPT-3, na ndị dike ndị ọzọ na ihe fọrọ nke nta ka ọ bụrụ akara ngosi ọ bụla. Ihe nkuzi ahụ tụgharịrị nkwubi okwu OpenAI nke mbụ na nha dị mma karịa data, na-egosi ọtụtụ ụdị flagship na-ahapụ arụmọrụ na tebụl site n'ịdị ukwuu na agụụ data.
Nghọta nka nka
Chinchilla dabara ọnwụ dị ka L (N,D) = E + A·N ^ (-α) + B·D^ (-β), na α na β ma nso 0.34, nke pụtara paramita na data na-enye ihe fọrọ nke nta ka ọ bụrụ symmetrically. Ịmepụta nke a n'okpuru mmachi mgbagwoju anya (mgbakọ ≈ 6·N·D maka transformers) na-enye nsonaazụ nha anya. Ụdị dị ntakịrị, nke nwere data bara ụba dịkwa ọnụ ala iji na-agba ọsọ na ntinye aka, ya mere, uru ya bara uru na ntinye, ọ bụghị naanị ọzụzụ.
Mmetụta atụmatụ
Mkpebi doro anya
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa.
Ọnụ ego na mmefu ego
Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge.
Team na usoro ọrụ
Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma.
Ọdịnihu nke Chinchilla Compute-Ọzụzụ kacha mma
Modeldị ọgbara ọhụrụ dị ka Llama 3 na-ama ụma na-agafe oke nha 20-tokens-per-parameter nke Chinchilla, na-azụ obere ụdị na puku ijeri akara iji mee ka ọnụahịa dị ọnụ ala, na-anabata mkpokọta ọzụzụ dị elu. Ka ezigbo data na-eto ụkọ, mmasị na-arị elu n'oge oge ugboro ugboro, data sịntetik na nzacha mma. Chinchilla ka bụ ebe ntụaka, mana nke kachasị mma na-adabere na ọnụ ahịa ntinye ndụ ndụ, ọ bụghị naanị mmefu ego ọzụzụ otu oge.
Mmejuputa n'ezie n'ụwa
Ịhọrọ ịzụ ụdị ihe nrịbama ijeri 7 na token 2 trillion karịa ụdị ijeri 30 na obere data maka otu mmefu ego.
Na-eme atụmatụ na ihe atụ nke ijeri ijeri 10 chọrọ ihe ruru ijeri ijeri 200 ka ọ daa n'ebe dị ụtọ ịgbakọ kacha mma.
Igosipụta obere ihe nlere anya iji belata ọnụ ahịa ntinye ajụjụ ọ bụla ka ọ dabara n'ịdị mma onye na-ama ya.
Inyocha ụdịdị dị adị na imechi ya ka a zụrụ azụ, wee na-eme atụmatụ ịgba ọsọ ọzụzụ ogologo karịa karịa mmụba oke.
Ihe ize ndụ & okporo ụzọ nche
Otu dị iche iche nwere ike iji otu okwu ahụ mee ihe n'ụzọ dị iche, yabụ kọwapụta oge n'oge.
Ihe nrịbama nwere ike ịdị ike ebe arụmọrụ ụwa na-adaghị adaba.
Ileghara ogo data na atụmatụ nyocha anya na-emepụtakarị nsonaazụ na-adịghị mma.
Map mmejuputa
Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ.
Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale.
Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara.
Detuo ebe Chinchilla Compute-Ọzụzụ kacha mma na-enyere aka yana ebe ụzọ dị mfe ka mma.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Compute-Optimal Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Ọzụzụ oge ule
Ajụjụ a na-ajụkarị
What is Chinchilla Compute-Optimal Training?
Chinchilla bụ DeepMind nke afọ 2022 na-achọpụta na ọtụtụ ụdị asụsụ a na-azụghị nke ọma: maka usoro mmefu ego a kapịrị ọnụ, ị ga-atụba paramita na data n'otu n'otu, ọ bụghị naanị wulite ihe nlereanya ka ukwuu. Ọ megharịrị ka ụlọ ọrụ ahụ si edozi nha nlereanya megide data ọzụzụ.
Kedu ihe bụ isi mkpịsị aka ama ama nke Chinchilla maka ịgbakọ-ezigbo ọzụzụ?
DeepMind chọtara paramita na akara kwesịrị ịgbakọ ọnụ na ihe ruru 20 token kwa oke maka mmefu ego enyere.
Kedu ka 70B-parameter Chinchilla si tụnyere 280B-parameter Gopher?
N'ịbụ onye a zụrụ n'ihe nrịbama ndị ọzọ nwere otu mgbakọ, Chinchilla meriri Gopher ka ukwuu n'ofe ọtụtụ akara.
Kedu nsogbu bụ isi nke akwụkwọ Chinchilla kpughere maka ụdị nnukwu ụdị mbụ?
Modelsdị dị ka GPT-3 na Gopher dị oke ibu n'ihe gbasara data ọzụzụ ha, na-ahapụ arụmọrụ emezubeghị.
Ihe dị ka akara akara ole ka iwu Chinchilla na-atụ aro maka ụdị oke ijeri iri?
Na 20 tokens kwa paramita, 10 ijeri paramita na-egosi ihe dị ka ijeri 200 ọzụzụ token.
E wezụga ịrụ ọrụ nke ọma, gịnị kpatara ihe nlere nke nwere data bara ụba ji maa mma n'ịkwanye?
Obere paramita pụtara mgbakọ ajụjụ ọ bụla dị ala, yabụ na-echekwa ego na-etinye oge ọ bụla ejiri ihe nlereanya ahụ.