DalšíDalší průvodce
Zákony škálování pro neuronové sítě
Základy
PRŮVODCE Základy
Neural Tangent Kernel (NTK) je matematický nástroj, který ukazuje, že nekonečně široké neuronové sítě se během trénování chovají jako specifická metoda pevného jádra.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to důležité, protože to mění tajemné hluboké učení v něco s uzavřenými, analyzovatelnými rovnicemi.
Teorie NTK, kterou představili Jacot, Gabriel a Hongler v roce 2018, studuje, co se stane, když se vrstvy sítě nekonečně rozšiřují. V tomto limitu přestává být trénování s gradientním klesáním divokou nelineární cestou: parametry sítě se sotva pohnou od své náhodné inicializace (režim „líného trénování“) a funkce, které počítá, se vyvíjí lineárně, řídí se jádrem, které zůstává během trénování konstantní. Tím jádrem – vnitřním produktem gradientů s ohledem na parametry – je NTK. Protože regrese jádra má přesná řešení, můžete předvídat výstup trénované sítě, aniž byste ji skutečně trénovali. NTK vysvětlila, proč se do extrémně nadparametrizovaných sítí vejdou data, a přesto zobecňují, a propojuje hluboké učení s desetiletími dobře pochopených jaderných metod a gaussovských procesů.
Analyticky předpovídáte dynamiku školení široké sítě, abyste zvolili rychlost učení bez drahých zkušebních běhů
Použití metrik založených na NTK k levnému hodnocení kandidátských architektur při hledání neuronové architektury
Teoretické vysvětlení, proč přeparametrizované sítě konvergují k nulové ztrátě tréninku a přesto zobecňují
Navrhování aproximací jádra (gaussovské procesy inspirované NTK) pro úlohy s malými daty, kde záleží na přesných odhadech nejistoty
NTK je páteří mnoha moderních teorií hlubokého učení, ale skutečné konečné sítě se učí funkce – něco, co obrázek pevného jádra postrádá. Výzkum se nyní zaměřuje na propast mezi „líným“ chováním NTK a „bohatými“ režimy učení funkcí a na používání NTK k predikci výkonu architektury, vodítku pro hledání neuronové architektury a vázané generalizaci. Očekávejte hybridní teorie, které zachycují, kdy se sítě chovají jako jádra, oproti tomu, kdy se skutečně učí reprezentace.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Neural Tangent Kernel (NTK) je matematický nástroj, který ukazuje, že nekonečně široké neuronové sítě se během trénování chovají jako specifická metoda pevného jádra. Je to důležité, protože to mění tajemné hluboké učení v něco s uzavřenými, analyzovatelnými rovnicemi.
Centrálním výsledkem NTK je, že v limitu nekonečné šířky jádro konverguje k pevné hodnotě a zůstává konstantní během trénování gradientu-sestupu.
NTK je K(x,x') = ⟨∇θ f(x), ∇θ f(x')⟩, vnitřní součin gradientů výstupu s ohledem na parametry.
NTK byla představena v novinách z roku 2018 od Arthura Jacota, Francka Gabriela a Clémenta Honglera.
V líném tréninku zůstávají parametry široké sítě blízko svých počátečních hodnot a výstup se vyvíjí lineárně, což dělá analýzu pevného jádra validní.
Regrese jádra má uzavřená řešení, takže v limitu NTK lze analyticky předpovídat výstupy trénované sítě.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Zákony škálování pro neuronové sítě
Základy