Dhana ya Tikiti za Bahati Nasibu
Nadharia ya Tikiti ya Bahati Nasibu inasema kuwa ndani ya mtandao mkubwa wa neva ulioanzishwa bila mpangilio huficha mtandao mdogo - 'tiketi ya kushinda' - ambayo, iliyofunzwa pekee kutoka kwa uzani sawa wa awali, inaweza kulingana na usahihi kamili wa mtandao.
Muhtasari
It matters because it suggests we are training far more parameters than we actually need.
Dive ya kina
Iliyopendekezwa na Jonathan Frankle na Michael Carbin huko MIT mnamo 2018, nadharia hiyo ilikua kutokana na utafiti wa kupogoa. Kwa kawaida unaweza kupogoa mtandao uliofunzwa hadi 10-20% ya uzani wake bila kupoteza usahihi, lakini kufundisha mtandao huo mdogo kutoka mwanzo kunashindwa. Frankle na Carbin walipata hila: weka uzani wa awali wa miunganisho iliyosalia. Mtandao huo mdogo - tiketi ya kushinda - kisha treni kwa usahihi kamili katika kutengwa, wakati mwingine kwa kasi zaidi kuliko asili mnene. Walitambua tikiti kupitia 'kupogoa kwa ukubwa unaorudiwa': treni, pogoa vipimo vidogo vya ukubwa, rudisha nyingine kwa thamani zao za awali, na kurudia. Matokeo yake yanamaanisha ujanibishaji mnene wa kupita kiasi husaidia uboreshaji kupata muundo mzuri wa sparse, sio kwamba uzani wote huo ni muhimu kibinafsi.
Ufahamu wa Kiufundi
Utaratibu wa msingi ni kupogoa kwa ukubwa unaorudiwa kwa kurejesha uzito nyuma: baada ya mafunzo, ondoa uzani wa ukubwa wa chini kabisa, weka upya uzani uliosalia kwa uanzishaji wake wa asili (au kituo cha ukaguzi cha mafunzo ya mapema, uboreshaji unaoitwa 'kurudisha nyuma'), kisha fanya mazoezi tena. Mchanganyiko wa barakoa mahususi chache NA uanzishaji wake unaolingana ndio unaofanya tiketi 'kushinda' - kuwasha upya kinyago sawa bila mpangilio kunaharibu athari.
Athari za kimkakati
Maamuzi ya wazi zaidi
Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
Cost and budget
Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
Timu na mtiririko wa kazi
Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Mustakabali wa Dhana ya Tikiti za Bahati Nasibu
Tikiti za bahati nasibu huchochea utafiti katika mafunzo ya mitandao machache kutoka mwanzo ili kuokoa hesabu na nishati, na kama tikiti huhamishwa kwenye seti za data na majukumu. Kuongeza upogoaji unaorudiwa hadi modeli za vigezo mabilioni bado ni ghali, kwa hivyo kazi inaendelea kutafuta tikiti kwa bei nafuu au kudhibitisha kuwa zipo (dhahania 'nguvu' ya tikiti ya bahati nasibu inasema tikiti zipo wakati wa kuanzishwa bila mafunzo yoyote). Tarajia kuunganishwa kwa miundo bora kwenye kifaa na AI ya kijani kibichi.
Utekelezaji wa Ulimwengu Halisi
Kubana kiainishaji kikubwa cha picha hadi chini ya 20% ya uzani wake ili kutumwa kwenye simu huku ukiweka usahihi.
Kuharakisha mafunzo kwa kutambua na kutoa mafunzo kwa mtandao mdogo tu unaoshinda
Kusoma uhamishaji wa uzani kwa kutumia tena tikiti iliyopatikana kwenye seti moja ya data ili kuanza mafunzo kwa haraka kuhusu inayohusiana
Kupunguza nishati ya makisio na kumbukumbu katika vifaa vya makali kwa kusafirisha tikiti iliyokatwa ya kushinda badala ya muundo mnene
Hatari & Walinzi
Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Ramani ya Utekelezaji
Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
Hati ambapo Hypothesis ya Tikiti ya Bahati Nasibu husaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Chinchilla Compute-Mafunzo Bora
Maswali yanayoulizwa mara kwa mara
What is Lottery Ticket Hypothesis?
Nadharia ya Tikiti ya Bahati Nasibu inasema kuwa ndani ya mtandao mkubwa wa neva ulioanzishwa bila mpangilio huficha mtandao mdogo - 'tiketi ya kushinda' - ambayo, iliyofunzwa pekee kutoka kwa uzani sawa wa awali, inaweza kulingana na usahihi kamili wa mtandao. Ni muhimu kwa sababu inapendekeza tunafunza vigezo vingi zaidi kuliko tunavyohitaji.
'Tiketi ya kushinda' ni nini katika dhana hii?
Tikiti ya kushinda ni mtandao mdogo ambao, unapofunzwa kutengwa kutoka kwa uzani sawa wa mwanzo, hufikia usahihi unaolingana na mtandao mnene.
Kwa nini mafunzo ya mtandao mdogo uliopogolewa kawaida hushindwa isipokuwa ufanye jambo maalum?
Ufahamu muhimu ni kwamba barakoa ndogo hufanya kazi tu ikiwa imeunganishwa na uanzishaji wa asili uliolingana; uanzishaji upya bila mpangilio huivunja.
Nani alipendekeza Hypothesis ya Tikiti ya Bahati Nasibu?
Jonathan Frankle na Michael Carbin walianzisha nadharia katika karatasi yao ya MIT ya 2018.
Ni mbinu gani inatumika kupata tikiti za kushinda?
Kupogoa kwa ukubwa unaorudiwa hufundisha mara kwa mara, huondoa uzani mdogo zaidi, na kurudisha vilivyosalia kwa maadili yao ya awali.
Nadharia inapendekeza nini kuhusu mitandao mikubwa iliyo na vigezo vingi?
Ugunduzi huo unamaanisha uboreshaji wa vigezo unavyosaidia utaftaji wa mtandao mdogo unaoweza kufunzwa badala ya kila uzito kuwa muhimu.