InayofuataMwongozo unaofuata
Sheria za Kuongeza Mitandao ya Neural
Misingi
MUONGOZO wa Misingi
Nadharia ya Kernel ya Neural Tangent
Kernel ya Neural Tangent (NTK) ni zana ya hisabati inayoonyesha kwamba mitandao ya neva isiyo na kikomo hufanya kama mbinu maalum, isiyobadilika ya kernel wakati wa mafunzo.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Ni muhimu kwa sababu hubadilisha ujifunzaji wa ajabu kuwa kitu chenye fomu-funge, milinganyo inayoweza kuchanganuliwa.
Dive ya kina
Ilianzishwa na Jacot, Gabriel na Hongler mwaka wa 2018, nadharia ya NTK inachunguza kile kinachotokea kadiri safu za mtandao zinavyokuwa pana sana. Katika kikomo hicho, mafunzo yenye asili ya gradient hukoma kuwa safari ya mwitu isiyo ya mstari: vigezo vya mtandao husogea kwa urahisi kutoka kwa uanzishaji wao bila mpangilio (serikali ya 'mafunzo ya uvivu'), na kazi inayojumuisha hubadilika kulingana, inayotawaliwa na punje ambayo hukaa kila wakati wakati wa mafunzo. Punje hiyo - bidhaa ya ndani ya gradients kwa heshima na vigezo - ni NTK. Kwa sababu urekebishaji wa kernel una suluhisho kamili, unaweza kutabiri matokeo ya mtandao uliofunzwa bila kuifundisha. NTK ilieleza kwa nini mitandao iliyo na vigezo vingi zaidi inaweza kutoshea data bado ingali ya jumla, na inaunganisha ujifunzaji wa kina na miongo kadhaa ya mbinu za kernel zinazoeleweka vyema na michakato ya Gaussian.
Utekelezaji wa Ulimwengu Halisi
Kutabiri mienendo ya mafunzo ya mtandao mpana kwa uchanganuzi ili kuchagua viwango vya kujifunza bila majaribio ya gharama kubwa
Kutumia metriki za msingi wa NTK kuorodhesha usanifu wa mgombea kwa bei nafuu wakati wa utaftaji wa usanifu wa neva.
Kuelezea kinadharia kwa nini mitandao iliyo na vigezo vingi huungana hadi sifuri ya kupoteza mafunzo na bado kujumlisha
Kubuni makadirio ya kernel (michakato ya Gaussian iliyoongozwa na NTK) kwa kazi zilizo na data ndogo ambapo makadirio ya kutokuwa na uhakika ni muhimu.
Mustakabali wa Nadharia ya Neural Tangent Kernel
NTK ndio uti wa mgongo wa nadharia ya kisasa ya kujifunza kwa kina, lakini mitandao halisi yenye kikomo hujifunza vipengele - jambo ambalo picha ya kerneli isiyobadilika inakosa. Utafiti sasa unaangazia pengo kati ya tabia ya 'uvivu' ya NTK na kanuni 'tajiri' za kujifunza vipengele, na kutumia NTK kutabiri utendaji wa usanifu, kuongoza utafutaji wa usanifu wa neva, na ujumuishaji wa jumla. Tarajia nadharia mseto zinazonasa wakati mitandao inatenda kama kernels dhidi ya inapojifunza uwakilishi kikweli.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Maamuzi ya wazi zaidi. Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
- Gharama na bajeti. Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
- Timu na mtiririko wa kazi. Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Jihadharini na
- Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
- Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
- Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Hatua zinazofuata
- Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
- Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
- Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
- Hati ambapo Nadharia ya Neural Tangent Kernel husaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Neural Tangent Kernel Theory quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Nadharia ya Kernel ya Neural Tangent ni nini?
Kernel ya Neural Tangent (NTK) ni zana ya hisabati inayoonyesha kwamba mitandao ya neva isiyo na kikomo hufanya kama mbinu maalum, isiyobadilika ya kernel wakati wa mafunzo. Ni muhimu kwa sababu hubadilisha ujifunzaji wa ajabu kuwa kitu kilicho na milinganyo iliyofungwa, inayoweza kuchanganuliwa.
Katika kikomo cha upana usio na kikomo, Kernel ya Neural Tangent hufanyaje wakati wa mafunzo?
Matokeo ya kati ya NTK ni kwamba katika kikomo cha upana usio na kikomo punje hubadilika hadi thamani isiyobadilika na hubaki bila kubadilika katika mafunzo ya mteremko wa gradient.
NTK ni nini kimahesabu?
NTK ni K(x,x') = ⟨∇θ f(x), ∇θ f(x')⟩, bidhaa ya ndani ya gradient ya matokeo kwa kuzingatia vigezo.
Nani alianzisha Kernel ya Neural Tangent?
NTK ilianzishwa katika karatasi ya 2018 na Arthur Jacot, Franck Gabriel, na Clément Hongler.
Je! ni mfumo gani wa 'mafunzo ya uvivu'?
Katika mafunzo ya uvivu, vigezo vya mtandao mpana hukaa karibu na maadili yao ya awali na matokeo yanabadilika kimstari, ambayo ndiyo hufanya uchanganuzi wa kerneli isiyobadilika kuwa halali.
Kwa sababu NTK inapunguza mafunzo kwa urekebishaji wa kernel, nini kinawezekana?
Urekebishaji wa Kernel una suluhu za fomu-funge, kwa hivyo katika kikomo cha NTK mtu anaweza kutabiri kwa uchanganuzi matokeo ya mtandao uliofunzwa.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii