Up tókànItọsọna atẹle
Awọn Ofin Iwọn fun Awọn Nẹtiwọọki Neural
Awọn ipilẹ
Awọn ipilẹ Itọsọna
Nkankankan Tangent Ekuro Yii
Kernel Tangent Neural (NTK) jẹ ohun elo mathematiki ti n fihan pe awọn nẹtiwọọki ailopin jakejado n huwa bi ọna kan pato, ọna ekuro ti o wa titi lakoko ikẹkọ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O ṣe pataki nitori pe o yi ẹkọ jinlẹ ti o jinlẹ sinu nkan ti o ni pipade-fọọmu, awọn idogba itupalẹ.
Jin Dive
Iṣafihan nipasẹ Jacot, Gabriel, ati Hongler ni ọdun 2018, imọ-jinlẹ NTK ṣe iwadii ohun ti o ṣẹlẹ bi awọn fẹlẹfẹlẹ nẹtiwọọki kan di iwọn ailopin. Ni opin yẹn, ikẹkọ pẹlu isunmọ gradient da duro jijẹ irin-ajo aiṣedeede egan: awọn paramita nẹtiwọọki ko ni gbigbe lati ipilẹṣẹ laileto wọn (akoko ijọba 'ikẹkọ ọlẹ'), ati iṣẹ ti o ṣe iṣiro wa ni laini, ti ijọba nipasẹ ekuro ti o duro nigbagbogbo jakejado ikẹkọ. Ekuro yẹn — ọja inu ti awọn gradients pẹlu ọwọ si awọn aye – jẹ NTK. Nitori ipadasẹhin ekuro ni awọn solusan gangan, o le ṣe asọtẹlẹ iṣelọpọ nẹtiwọọki ti oṣiṣẹ laisi ikẹkọ gangan. NTK ṣe alaye idi ti awọn nẹtiwọọki apọju ti o tobi pupọ le baamu data sibẹsibẹ tun jẹ gbogbogbo, ati pe o sopọ mọ ẹkọ ti o jinlẹ si awọn ewadun ti awọn ọna ekuro ti oye daradara ati awọn ilana Gaussian.
Real-World imuse
Ṣe asọtẹlẹ awọn agbara ikẹkọ nẹtiwọọki jakejado ni itupalẹ lati yan awọn oṣuwọn ikẹkọ laisi awọn ṣiṣe idanwo gbowolori
Lilo awọn metiriki ti o da lori NTK lati ṣe ipo awọn faaji oludije ni olowo poku lakoko wiwa faaji nkankikan
Ti n ṣalaye ni imọ-jinlẹ idi ti awọn nẹtiwọọki apọju pọ si pipadanu ikẹkọ odo ati tun ṣe gbogbogbo
Ṣiṣeto awọn isunmọ ekuro (awọn ilana Gaussian ti o ni atilẹyin NTK) fun awọn iṣẹ ṣiṣe pẹlu data kekere nibiti awọn iṣiro aidaniloju gangan ṣe pataki
Ọjọ iwaju ti Ilana Ekuro Tangent Neural
NTK jẹ ẹhin ti imọ-jinlẹ jinlẹ pupọ ti ode oni, ṣugbọn awọn nẹtiwọọki ipari gidi kọ awọn ẹya - nkan ti aworan ekuro ti o wa titi padanu. Iwadi ni bayi dojukọ aafo laarin ihuwasi 'ọlẹ' NTK ati awọn ijọba eto ẹkọ ẹya 'ọlọrọ', ati lori lilo NTK lati ṣe asọtẹlẹ iṣẹ ṣiṣe faaji, ṣe itọsọna wiwa faaji ti iṣan, ati gbogbogbo ti a so. Reti awọn imọ-jinlẹ arabara ti o mu nigbati awọn nẹtiwọọki ba huwa bi awọn kernels dipo nigba ti wọn kọ awọn aṣoju nitootọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Awọn ipinnu diẹ sii. O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
- Iye owo ati isuna. O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ṣọra fun
- Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
- Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
- Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Next awọn igbesẹ
- Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
- Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
- Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
- Iwe ibi ti Neural Tangent Kernel Theory ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Neural Tangent Kernel Theory quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Neural Tangent Kernel Theory?
Kernel Tangent Neural (NTK) jẹ ohun elo mathematiki ti n fihan pe awọn nẹtiwọọki ailopin jakejado n huwa bi ọna kan pato, ọna ekuro ti o wa titi lakoko ikẹkọ. O ṣe pataki nitori pe o yi ẹkọ ijinlẹ aramada pada si nkan pẹlu fọọmu pipade, awọn idogba itupalẹ.
Ni opin-iwọn ailopin, bawo ni Kernel Tangent Neural ṣe huwa lakoko ikẹkọ?
Abajade NTK aringbungbun kan ni pe ni opin-iwọn ailopin ekuro kojọpọ si iye ti o wa titi ati pe o duro nigbagbogbo jakejado ikẹkọ isọdi-gidient.
Kini NTK ni mathematiki?
NTK naa jẹ K(x,x') = ⟨∇θ f(x), ∇θ f(x')⟩, ọja inu ti awọn gradients ti iṣelọpọ pẹlu ọwọ si awọn paramita.
Tani o ṣe agbekalẹ Kernel Tangent Neural?
A ṣe afihan NTK ni iwe 2018 nipasẹ Arthur Jacot, Franck Gabriel, ati Clément Hongler.
Kini ijọba 'ikẹkọ ọlẹ'?
Ni ikẹkọ ọlẹ, awọn aye-nẹtiwọọki jakejado duro nitosi awọn iye akọkọ wọn ati iṣelọpọ wa ni laini, eyiti o jẹ ki itupalẹ ekuro ti o wa titi wulo.
Nitoripe NTK dinku ikẹkọ si ipadasẹhin ekuro, kini o ṣee ṣe?
Ipadasẹyin Kernel ni awọn solusan fọọmu-pipade, nitorinaa ni opin NTK ọkan le ṣe asọtẹlẹ asọtẹlẹ awọn abajade ti nẹtiwọọki ikẹkọ.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii