Nkankankan Tangent Ekuro Yii
Kernel Tangent Neural (NTK) jẹ ohun elo mathematiki ti n fihan pe awọn nẹtiwọọki ailopin jakejado n huwa bi ọna kan pato, ọna ekuro ti o wa titi lakoko ikẹkọ.
Akopọ
O ṣe pataki nitori pe o yi ẹkọ jinlẹ ti o jinlẹ sinu nkan ti o ni pipade-fọọmu, awọn idogba itupalẹ.
Jin Dive
Iṣafihan nipasẹ Jacot, Gabriel, ati Hongler ni ọdun 2018, imọ-jinlẹ NTK ṣe iwadii ohun ti o ṣẹlẹ bi awọn fẹlẹfẹlẹ nẹtiwọọki kan di iwọn ailopin. Ni opin yẹn, ikẹkọ pẹlu isunmọ gradient da duro jijẹ irin-ajo aiṣedeede egan: awọn paramita nẹtiwọọki ko ni gbigbe lati ipilẹṣẹ laileto wọn (akoko ijọba 'ikẹkọ ọlẹ'), ati iṣẹ ti o ṣe iṣiro wa ni laini, ti ijọba nipasẹ ekuro ti o duro nigbagbogbo jakejado ikẹkọ. Ekuro yẹn — ọja inu ti awọn gradients pẹlu ọwọ si awọn aye – jẹ NTK. Nitori ipadasẹhin ekuro ni awọn solusan gangan, o le ṣe asọtẹlẹ iṣelọpọ nẹtiwọọki ti oṣiṣẹ laisi ikẹkọ gangan. NTK ṣe alaye idi ti awọn nẹtiwọọki apọju ti o tobi pupọ le baamu data sibẹsibẹ tun jẹ gbogbogbo, ati pe o sopọ mọ ẹkọ ti o jinlẹ si awọn ewadun ti awọn ọna ekuro ti oye daradara ati awọn ilana Gaussian.
Imọ-imọ-ẹrọ
NTK jẹ asọye bi ọja inu ti awọn olutọpa gradient netiwọki fun awọn igbewọle meji: K(x, x') = ⟨∇θ f(x), ∇θ f(x')⟩. Ni opin-iwọn ailopin ekuro yii n ṣajọpọ si iye ipinnu ni ipilẹṣẹ ati duro titi di igba isọkalẹ gradient, nitorinaa ikẹkọ dinku si ipadasẹhin ekuro. Awọn nẹtiwọọki ti o gbooro n gbe kere si fun paramita, eyiti o jẹ deede idi ti linearization dimu.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ọjọ iwaju ti Ilana Ekuro Tangent Neural
NTK jẹ ẹhin ti imọ-jinlẹ jinlẹ pupọ ti ode oni, ṣugbọn awọn nẹtiwọọki ipari gidi kọ awọn ẹya - nkan ti aworan ekuro ti o wa titi padanu. Iwadi ni bayi dojukọ aafo laarin ihuwasi 'ọlẹ' NTK ati awọn ijọba eto ẹkọ ẹya 'ọlọrọ', ati lori lilo NTK lati ṣe asọtẹlẹ iṣẹ ṣiṣe faaji, ṣe itọsọna wiwa faaji ti iṣan, ati gbogbogbo ti a so. Reti awọn imọ-jinlẹ arabara ti o mu nigbati awọn nẹtiwọọki ba huwa bi awọn kernels dipo nigba ti wọn kọ awọn aṣoju nitootọ.
Real-World imuse
Ṣe asọtẹlẹ awọn agbara ikẹkọ nẹtiwọọki jakejado ni itupalẹ lati yan awọn oṣuwọn ikẹkọ laisi awọn ṣiṣe idanwo gbowolori
Lilo awọn metiriki ti o da lori NTK lati ṣe ipo awọn faaji oludije ni olowo poku lakoko wiwa faaji nkankikan
Ti n ṣalaye ni imọ-jinlẹ idi ti awọn nẹtiwọọki apọju pọ si pipadanu ikẹkọ odo ati tun ṣe gbogbogbo
Ṣiṣeto awọn isunmọ ekuro (awọn ilana Gaussian ti o ni atilẹyin NTK) fun awọn iṣẹ ṣiṣe pẹlu data kekere nibiti awọn iṣiro aidaniloju gangan ṣe pataki
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe ibi ti Neural Tangent Kernel Theory ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Tangent Kernel Theory quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn Ofin Iwọn fun Awọn Nẹtiwọọki Neural
Awọn ibeere ti a beere nigbagbogbo
Kini Neural Tangent Kernel Theory?
Kernel Tangent Neural (NTK) jẹ ohun elo mathematiki ti n fihan pe awọn nẹtiwọọki ailopin jakejado n huwa bi ọna kan pato, ọna ekuro ti o wa titi lakoko ikẹkọ. O ṣe pataki nitori pe o yi ẹkọ ijinlẹ aramada pada si nkan pẹlu fọọmu pipade, awọn idogba itupalẹ.
Ni opin-iwọn ailopin, bawo ni Kernel Tangent Neural ṣe huwa lakoko ikẹkọ?
Abajade NTK aringbungbun kan ni pe ni opin-iwọn ailopin ekuro kojọpọ si iye ti o wa titi ati pe o duro nigbagbogbo jakejado ikẹkọ isọdi-gidient.
Kini NTK ni mathematiki?
NTK naa jẹ K(x,x') = ⟨∇θ f(x), ∇θ f(x')⟩, ọja inu ti awọn gradients ti iṣelọpọ pẹlu ọwọ si awọn paramita.
Tani o ṣe agbekalẹ Kernel Tangent Neural?
A ṣe afihan NTK ni iwe 2018 nipasẹ Arthur Jacot, Franck Gabriel, ati Clément Hongler.
Kini ijọba 'ikẹkọ ọlẹ'?
Ni ikẹkọ ọlẹ, awọn aye-nẹtiwọọki jakejado duro nitosi awọn iye akọkọ wọn ati iṣelọpọ wa ni laini, eyiti o jẹ ki itupalẹ ekuro ti o wa titi wulo.
Nitoripe NTK dinku ikẹkọ si ipadasẹhin ekuro, kini o ṣee ṣe?
Ipadasẹyin Kernel ni awọn solusan fọọmu-pipade, nitorinaa ni opin NTK ọkan le ṣe asọtẹlẹ asọtẹlẹ awọn abajade ti nẹtiwọọki ikẹkọ.