Gids-gekoppelde quiz · Moeilijk Niveau
Neurale Tangent Kernel Theorie Quiz
Test hoe de Neural Tangent Kernel netwerktraining met oneindige breedte koppelt aan kernelmethoden en functieruimtedynamiek in een gelineariseerde limiet.
Vraag 1 van 8
Hoe gedraagt de Neural Tangent Kernel zich tijdens de training binnen de oneindige breedtelimiet?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Hoe gedraagt de Neural Tangent Kernel zich tijdens de training binnen de oneindige breedtelimiet?
- Het blijft in wezen constant
- Het verandert snel bij elke stap
- Het wordt nul
- Het groeit exponentieel
- Wat is de NTK wiskundig gezien?
- De Hessiaan van het verlies
- Het inproduct van de parametergradiënten van het netwerk voor twee ingangen
- De softmax van de uitgangen
- De variantie van de gewichten
- Wie introduceerde de Neural Tangent Kernel?
- Hinton en Salakhutdinov
- LeCun en Bengio
- Jacot, Gabriël en Hongler (2018)
- Vaswani en collega's
- Wat is het 'luie training'-regime?
- Wanneer de training is gepauzeerd
- Wanneer de optimizer geen momentum gebruikt
- Wanneer gegevens langzaam worden ingevoerd
- Wanneer parameters nauwelijks bewegen vanaf de initialisatie en het netwerk zich lineair gedraagt
- Een belangrijke beperking van de NTK-theorie voor echte netwerken is dat deze het volgende mist:
- Functie-leren in netwerken met eindige breedte
- De rol van gradiëntafdaling
- Het bestaan van gewichten
- Het gebruik van trainingsgegevens
- Wat wordt er mogelijk omdat de NTK de training reduceert tot kernelregressie?
- Het elimineren van de behoefte aan gegevens
- Het voorspellen van de getrainde output zonder volledige training
- Modellen uitvoeren zonder parameters
- Altijd een nultestfout gegarandeerd
- In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
- Een verborgen Markov-model
- Een beslisboomensemble
- A Gaussian process
- A finite-state game controller
- For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
- A discrete rule that randomly changes labels
- A decision tree that grows one branch per epoch
- A nonlinear search over audio frames
- A linear differential equation in function space