VolgendeVolgende gids
Schaalwetten voor neurale netwerken
Grondbeginselen
Basisprincipes GIDS
De Neural Tangent Kernel (NTK) is een wiskundig hulpmiddel dat aantoont dat oneindig brede neurale netwerken zich tijdens training gedragen als een specifieke, vaste kernelmethode.
Luister naar deze gidsAI-verteld · ~2 min
Het is belangrijk omdat het mysterieus diepgaand leren verandert in iets met analyseerbare vergelijkingen in gesloten vorm.
De NTK-theorie, geïntroduceerd door Jacot, Gabriel en Hongler in 2018, bestudeert wat er gebeurt als de lagen van een netwerk oneindig breed worden. Binnen die limiet is training met gradiëntdaling niet langer een wilde, niet-lineaire reis: de parameters van het netwerk veranderen nauwelijks van hun willekeurige initialisatie (het 'luie training'-regime), en de functie die het berekent evolueert lineair, bestuurd door een kernel die tijdens de training constant blijft. Die kern – het inproduct van gradiënten met betrekking tot parameters – is de NTK. Omdat kernelregressie exacte oplossingen heeft, kunt u de output van het getrainde netwerk voorspellen zonder het daadwerkelijk te trainen. NTK legde uit waarom enorm overgeparametriseerde netwerken gegevens kunnen bevatten en toch kunnen generaliseren, en het koppelt deep learning aan tientallen jaren van goed begrepen kernelmethoden en Gaussiaanse processen.
Analytisch voorspellen van de trainingsdynamiek van een breed netwerk om leerpercentages te kiezen zonder dure proefruns
Op NTK gebaseerde statistieken gebruiken om kandidaat-architecturen goedkoop te rangschikken tijdens het zoeken naar neurale architectuur
Theoretisch verklaren waarom overgeparameteriseerde netwerken convergeren naar nul trainingsverlies en toch generaliseren
Kernelbenaderingen ontwerpen (NTK-geïnspireerde Gaussische processen) voor taken met kleine gegevens waarbij exacte onzekerheidsschattingen ertoe doen
NTK is de ruggengraat van veel moderne deep-learning-theorieën, maar echte eindige netwerken leren wel eigenschappen – iets wat het beeld van de vaste kernel mist. Onderzoek richt zich nu op de kloof tussen 'lui' NTK-gedrag en 'rijke' regimes voor het leren van functies, en op het gebruik van NTK om architectuurprestaties te voorspellen, het zoeken naar neurale architectuur te begeleiden en gebonden generalisatie. Verwacht hybride theorieën die vastleggen wanneer netwerken zich als kernels gedragen en wanneer ze daadwerkelijk representaties leren.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
De Neural Tangent Kernel (NTK) is een wiskundig hulpmiddel dat aantoont dat oneindig brede neurale netwerken zich tijdens training gedragen als een specifieke, vaste kernelmethode. Het is belangrijk omdat het mysterieus diepgaand leren verandert in iets met analyseerbare vergelijkingen in gesloten vorm.
Een centraal NTK-resultaat is dat in de oneindige breedtelimiet de kernel convergeert naar een vaste waarde en constant blijft tijdens de gradiënt-afdalingstraining.
De NTK is K(x,x') = ⟨∇θ f(x), ∇θ f(x')⟩, het inproduct van gradiënten van de uitvoer met betrekking tot parameters.
De NTK werd geïntroduceerd in een artikel uit 2018 van Arthur Jacot, Franck Gabriel en Clément Hongler.
Bij luie training blijven de parameters voor een breed netwerk in de buurt van hun initiële waarden en evolueert de uitvoer lineair, wat de analyse met een vaste kernel geldig maakt.
Kernelregressie heeft oplossingen in gesloten vorm, dus binnen de NTK-limiet kan men de output van het getrainde netwerk analytisch voorspellen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Schaalwetten voor neurale netwerken
Grondbeginselen