Echiche nke tiketi lọtrị
Echiche nke tiketi lọtrị na-ekwu na n'ime nnukwu netwọkụ akwara ebido na-enweghị usoro na-ezobe obere netwọkụ subnetwork - 'tiketi mmeri' - nke a zụrụ naanị ya site na otu ibu mbụ ahụ, nwere ike dakọtara na izi ezi nke netwọkụ zuru oke.
Nchịkọta
It matters because it suggests we are training far more parameters than we actually need.
Ime miri emi
Jonathan Frankle na Michael Carbin tụpụtara na MIT na 2018, echiche ahụ toro site na nyocha ịkwachaa. Dị ka ọ na-adịkarị, ị nwere ike ihichapụ netwọkụ zụrụ azụ ruo 10-20% nke ịdị arọ ya na-efunarị nke ọma, mana ọzụzụ obere netwọkụ ahụ sitere na ọkọ dara ada. Frankle na Carbin chọtara aghụghọ ahụ: debe njikọ dị ndụ 'nri mbụ mbụ. Netwọk ntakiri ahụ pere mpe - tiketi mmeri - wee na-azụ ya ka ọ bụrụ nke ọma na iche, mgbe ụfọdụ ngwa ngwa karịa nke mbụ. Ha chọpụtara tiketi site na 'ịkwachaa ịdị ukwuu': ụgbọ oloko, kwachaa ihe kacha nta, tụgharịa nke fọdụrụ na ụkpụrụ mbụ ha, ma kwugharịa. Nsonaazụ pụtara oke overparameterization tumadi na-enyere aka njikarịcha chọta usoro dị mma nke pere mpe, ọ bụghị na nha ndị ahụ niile dị mkpa n'otu n'otu.
Nghọta nka nka
Usoro bụ isi bụ itucha mkpụrụ osisi na ntugharị ịdị arọ: mgbe ọzụzụ gasịrị, wepụ ihe ọ̀tụ̀tụ̀ kacha dị ala, tọgharịa ihe ndị fọdụrụ na mbido mbụ ha (ma ọ bụ ebe a na-enyocha ọzụzụ n'oge, nchacha a na-akpọ 'rewinding'), wee maliteghachi azụ. Nchikota nke ihe nkpuchi a kapịrị ọnụ na mmalite ya dabara na ya bụ ihe na-eme ka tiketi 'merie' - ịmaliteghachi otu ihe nkpuchi na-enweghị usoro na-emebi mmetụta ahụ.
Mmetụta atụmatụ
Mkpebi doro anya
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa.
Ọnụ ego na mmefu ego
Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge.
Team na usoro ọrụ
Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma.
Echiche n'ọdịniihu nke tiketi lọtrị
Tiketi lọtrị na-eme nyocha n'ime netwọọdụ ndị na-adịghị ahụkebe ọzụzụ site na mmalite iji chekwaa mkpokọta na ume, yana n'ime ma tiketi na-ebufe n'ofe dataset na ọrụ. Ịkwacha iterative kwachaa ụdị ijeri-parameter ka dị oke ọnụ, yabụ ọrụ na-aga n'ihu n'ịchọta tiketi dị ọnụ ala ma ọ bụ gosipụta na ha dị (echiche nke tiketi lọtrị siri ike na-ekwu na tiketi dị na mbido na-enweghị ọzụzụ ọ bụla). Na-atụ anya tie-ins nwere ụdị ngwaọrụ dị mma yana akwụkwọ ndụ akwụkwọ ndụ AI.
Mmejuputa n'ezie n'ụwa
Na-akpakọ nnukwu nhazi ihe onyonyo n'okpuru 20% nke arọ ya maka ibunye na ekwentị ma na-edobe izi ezi.
Na-eme ka ọzụzụ dị ngwa site na ịchọpụta na ịzụ naanị obere netwọkụ na-emeri emeri
Na-amụ mbufe ibu site na ijikwa tiketi achọtara na otu dataset ka ịmalite ịmalite ọzụzụ na ihe metụtara ya.
Ibelata inference ume na ebe nchekwa na akụkụ ngwaọrụ site na mbupu tiketịpụ na-emeri emeri kama ịbụ nnukwu ụdị
Ihe ize ndụ & okporo ụzọ nche
Otu dị iche iche nwere ike iji otu okwu ahụ mee ihe n'ụzọ dị iche, yabụ kọwapụta oge n'oge.
Ihe nrịbama nwere ike ịdị ike ebe arụmọrụ ụwa na-adaghị adaba.
Ileghara ogo data na atụmatụ nyocha anya na-emepụtakarị nsonaazụ na-adịghị mma.
Map mmejuputa
Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ.
Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale.
Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara.
Detuo ebe Hypothesis tiketi lọtrị na-enyere aka yana ebe ụzọ dị mfe ka mma.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Chinchilla Compute-Ọzụzụ kacha mma
Ajụjụ a na-ajụkarị
What is Lottery Ticket Hypothesis?
Echiche nke tiketi lọtrị na-ekwu na n'ime nnukwu netwọkụ akwara ebido na-enweghị usoro na-ezobe obere netwọkụ subnetwork - 'tiketi mmeri' - nke a zụrụ naanị ya site na otu ibu mbụ ahụ, nwere ike dakọtara na izi ezi nke netwọkụ zuru oke. Ọ dị mkpa n'ihi na ọ na-egosi na anyị na-azụ ọtụtụ paramita karịa ka anyị chọrọ n'ezie.
Kedu ihe bụ 'tiketi mmeri' na nkwupụta a?
Tiketi na-emeri bụ obere netwọkụ nke, mgbe a zụrụ ya iche na otu ibu mbụ ahụ, na-erute izi ezi ma e jiri ya tụnyere netwọkụ dị oke egwu.
Kedu ihe kpatara ọzụzụ netwọọdụ okpuru ọchịchị a kpara akpa ji ada ada ọ gwụla ma i meghị ihe pụrụ iche?
Nghọta bụ isi bụ na ihe nkpuchi na-adịghị ahụkebe na-arụ ọrụ naanị mgbe ejikọtara ya na mbido mbụ dabara adaba; random reinitialization na-agbaji ya.
Onye tụpụtara echiche nke tiketi lọtrị?
Jonathan Frankle na Michael Carbin webatara echiche ahụ na akwụkwọ 2018 MIT ha.
Kedu usoro eji achọta tiketi mmeri?
Ọdịmma ịkwachaa ugboro ugboro na-azụ ọzụzụ ugboro ugboro, na-ewepụ ihe ọ̀tụ̀tụ̀ kacha nta, ma tụgharịa nke fọdụrụ na ụkpụrụ mbụ ha.
Kedu ihe echiche ahụ na-atụ aro maka nnukwu netwọkụ karịrị akarị?
Nchọta a na-egosi oke oke na-enyere aka nchọta netwọọdụ okpuru ọchịchị hiri nne karịa ka ibu ọ bụla dị mkpa.