LegközelebbKövetkező útmutató
Neurális hálózatok méretezési törvényei
Alapok
Alapok ÚTMUTATÓ
A Neural Tangent Kernel (NTK) egy matematikai eszköz, amely megmutatja, hogy a végtelenül széles neurális hálózatok speciális, rögzített kernelmódszerként viselkednek a képzés során.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a titokzatos mély tanulást zárt formájú, elemezhető egyenletekkel alakítja valamivé.
A Jacot, Gabriel és Hongler által 2018-ban bevezetett NTK elmélet azt vizsgálja, hogy mi történik, amikor a hálózat rétegei végtelenül szélesednek. Ezen a határon a gradiens süllyedéssel végzett képzés már nem egy vad, nemlineáris utazás: a hálózat paraméterei alig mozdulnak el a véletlenszerű inicializálástól (a „lusta képzési” rendszertől), és az általa kiszámított függvény lineárisan fejlődik, egy kernel által irányítva, amely a képzés során állandó marad. Ez a kernel – a gradiensek belső szorzata a paraméterek tekintetében – az NTK. Mivel a kernel regressziónak pontos megoldásai vannak, megjósolhatja a betanított hálózat kimenetét anélkül, hogy ténylegesen betanította volna. Az NTK elmagyarázta, hogy a rendkívül túlparaméterezett hálózatok miért férnek bele az adatokba, mégis általánosítanak, és a mély tanulást több évtizedes, jól érthető kernelmetódusokhoz és Gauss-folyamatokhoz kapcsolja.
A széles hálózat képzési dinamikájának analitikus előrejelzése a tanulási arányok kiválasztásához drága próbafutások nélkül
NTK-alapú metrikák használata a jelölt architektúrák olcsó rangsorolására a neurális architektúra keresése során
Elméletileg megmagyarázni, hogy a túlparaméterezett hálózatok miért konvergálnak a nulla képzési veszteséghez, és miért általánosítanak mégis
Kernel-közelítések (NTK által ihletett Gauss-folyamatok) tervezése kis adatokkal rendelkező feladatokhoz, ahol a pontos bizonytalanságbecslés számít
Az NTK a sok modern mélytanulási elmélet gerince, de a valódi véges hálózatok megtanulják a funkciókat – ez hiányzik a fix kernel képéből. A kutatás most a „lusta” NTK-viselkedés és a „gazdag” funkció-tanulási rendszerek közötti szakadékra, valamint az NTK-nak az architektúra teljesítményének előrejelzésére, a neurális architektúra keresésének irányítására és a kötött általánosításra összpontosít. Olyan hibrid elméletekre számíthatunk, amelyek megragadják, amikor a hálózatok kernelként viselkednek, szemben azzal, amikor valóban megtanulják a reprezentációkat.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Neural Tangent Kernel (NTK) egy matematikai eszköz, amely megmutatja, hogy a végtelenül széles neurális hálózatok speciális, rögzített kernelmódszerként viselkednek a képzés során. Ez azért fontos, mert a titokzatos mély tanulást zárt formájú, elemezhető egyenletekkel alakítja valamivé.
Az NTK egyik központi eredménye, hogy a végtelen szélességű korlátban a kernel egy rögzített értékhez konvergál, és állandó marad a gradiens-süllyedés képzés során.
Az NTK a következő: K(x,x') = ⟨∇θ f(x), ∇θ f(x')⟩, a kimenet gradienseinek paraméterekhez viszonyított belső szorzata.
Az NTK-t egy 2018-as cikkben mutatta be Arthur Jacot, Franck Gabriel és Clément Hongler.
A lusta képzés során a széles hálózati paraméterek a kezdeti értékeik közelében maradnak, és a kimenet lineárisan fejlődik, ez teszi érvényessé a fix kernel elemzést.
A kernel regressziónak zárt formájú megoldásai vannak, így az NTK határértékben analitikusan megjósolható a betanított hálózat kimenetei.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Neurális hálózatok méretezési törvényei
Alapok