Iwu mkpali maka netwọkụ akwara ozi
Iwu nlegharị anya bụ usoro siri ike na-egosi na mfu netwọkụ akwara na-ada nke ọma ka ị na-eto nha nlereanya, nha dataset, na ịgbakọ.
Nchịkọta
They matter because they let researchers forecast performance before spending millions on training a giant model.
Ime miri emi
Iwu nlegharị anya, nke akwụkwọ OpenAI 2020 nke Kaplan na ndị ọrụ ibe na-ewu ewu, chọpụtara na mfu ule na-ebelata dị ka iwu ike dị nro n'ụzọ atọ: ọnụọgụ parameter (N), akara ọzụzụ (D), na mkpokọta mkpokọta (C). Edebere ya na anyụike log-log, mfu na ihe nke ọ bụla na-etolite ahịrị fọrọ nke nta ka ọ bụrụ ogologo ogologo na-agafe ọtụtụ usoro dị ukwuu. Mmekọrịta ndị a na-ewere ụdị mfu ≈ a + b·X^(-c), ebe X bụ ihe na-eme ka ọ dị elu. N'ụzọ dị mkpa, ọrụ mbụ tụrụ aro nha ihe nlereanya dị mkpa karịa data, na-akpali asọmpi n'ụdị ụdị buru ibu dị ka nkeji ijeri 175 nke GPT-3. Iwu nlegharị anya tụgharịrị mmụta miri emi site na ịkọ nkọ gaa n'ọzụzụ injinịa a na-atụ anya amụma, na-ahapụ ndị otu ka ha buru amụma nnukwu ọsọ sitere na nnwale ndị dị ọnụ ala.
Nghọta nka nka
Ụdị iwu ike pụtara mmụba ọ bụla a kapịrị ọnụ n'ịgbakọ na-eme ka mbelata ihe mgbakwunye na-adị mgbe niile. A na-atụ mfu na nats ma ọ bụ ibe n'ibe n'otu akara nke cross-entropy. N'ihi na exponent c dị ntakịrị (na-abụkarị gburugburu 0.05-0.1), uru dị adị mana ọ na-ebelata: ọnụọgụ abụọ na-enyere aka dị obere karịa nke mbụ abụọ. N'ụzọ dị mkpa, iwu ndị a na-akọwa ọnwụ na-adịghị agwụ agwụ-gbakwunyere na-ebelata, ebe okwu mgbe niile na-ejide entropy dị n'ime data nke na-enweghị ihe nlereanya nwere ike ịkụ.
Mmetụta atụmatụ
Mkpebi doro anya
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa.
Ọnụ ego na mmefu ego
Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge.
Team na usoro ọrụ
Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma.
Ọdịnihu nke Iwu Scaling maka Netwọk Neural
Ndị na-eme nchọpụta na-agbatịkwu iwu nlegharị anya karịa tupu ọzụzụ mfu gaa na izi ezi ọrụ, ụdị multimodal, na oge ntinye oge, ebe ụdị echiche na-etinyekwu echiche n'otu ajụjụ. Ka ederede dị elu na-adị ụkọ, nlebara anya na-atụgharị na ogo data, data sịntetik, na iwu nyocha data ugboro ugboro. Ụfọdụ na-arụ ụka na ịcha ọkụ na-adịghị mma na-akụtu oke ego, ike, na ederede dịnụ, na-akwalite ubi ahụ n'ịrụ ọrụ algorithmic na ụlọ ọhụrụ kama ịmepụta nnukwu ụlọ.
Mmejuputa n'ezie n'ụwa
Na-ebu amụma ọnwụ ikpeazụ nke ihe nlereanya paramita 70-ijeri echere site na usoro nke obere 100-million-parameter test na-agba ọsọ tupu emee mmefu ego GPU.
Ịkpebi puku ijeri puku ijeri ole a ga-anakọta ka a na-emefusịghị ego n'efu na ụdị akwụghị ụgwọ.
Tụnyere ụlọ ọrụ ụlọ abụọ dị ọnụ ala site n'itinye akụkụ ha na-akpụ akpụ n'obere ọnụ ọgụgụ kama ịzụ ha abụọ n'uju.
Ịtọpụta atụmanya ziri ezi maka ndị na-etinye ego ma ọ bụ nye ndị na-enyocha ya site n'iwepụ usoro ọnwụ ahụ na ọkwa nleba anya.
Ihe ize ndụ & okporo ụzọ nche
Otu dị iche iche nwere ike iji otu okwu ahụ mee ihe n'ụzọ dị iche, yabụ kọwapụta oge n'oge.
Ihe nrịbama nwere ike ịdị ike ebe arụmọrụ ụwa na-adaghị adaba.
Ileghara ogo data na atụmatụ nyocha anya na-emepụtakarị nsonaazụ na-adịghị mma.
Map mmejuputa
Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ.
Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale.
Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara.
Detuo ebe Iwu Scaling maka netwọkụ akwara na-enyere aka yana ebe ụzọ ndị dị mfe ka mma.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Scaling Laws for Neural Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Netwọk Neural Convolutional
Ajụjụ a na-ajụkarị
What is Scaling Laws for Neural Networks?
Iwu nlegharị anya bụ usoro siri ike na-egosi na mfu netwọkụ akwara na-ada nke ọma ka ị na-eto nha nlereanya, nha dataset, na ịgbakọ. Ha dị mkpa n'ihi na ha na-ahapụ ndị na-eme nchọpụta ka ha buru amụma amụma tupu ha etinye ọtụtụ nde na ịzụ ihe nlereanya.
N'elu axes log-log, kedu ka ọnwụ nwale si emekarị ka ịgbakọ na-abawanye n'okpuru iwu mkpali?
Mfu na ịgbakọ, nha ụdị, ma ọ bụ data na-etolite ahịrị kwụ ọtọ na nkata ndekọ, mbinye aka nke mmekọrịta iwu.
Kedu ọnụọgụ atọ nke iwu nlegharị anya izizi metụtara mfu?
Kaplan et al. gụrụ mfu dị ka iwu ike na ọnụọgụ parameter (N), akara ọzụzụ (D), na mkpokọta mkpokọta (C).
Kedu ihe kpatara iwu nlegharị anya ji baa uru na ụlọ nyocha AI?
Site n'ịkwado akụkụ n'obere ọnụ ọgụgụ, otu dị iche iche na-ebu amụma maka arụmọrụ nnukwu ụdị tupu ha emefu nnukwu ego.
Kedu ihe okwu na-adịgide adịgide (nke na-adịghị agwụ agwụ) na usoro mfu iwu na-egosi?
Ọnwụ nwere akụkụ nwere ike ịbelata nke na-ada n'ọ̀tụ̀tụ̀ gbakwunyere ala a na-apụghị imezi emezi bụ nke data sitere n'onwe ya setịpụrụ.
Gịnị mere e ji kọwaa uru nrịbawanye dị ka 'na-ebelata'?
N'ihi na nkọwapụta iwu ike dị ntakịrị, ọnụọgụ ọnụọgụ ọnụọgụgụ nha anya na-ebute obere mbelata mfu zuru oke.