Gids-gekoppelde quiz · Moeilijk Niveau

Neurale Tangent Kernel Theorie Quiz

Test hoe de Neural Tangent Kernel netwerktraining met oneindige breedte koppelt aan kernelmethoden en functieruimtedynamiek in een gelineariseerde limiet.

Gerelateerde gidspadenNeurale Tangens Kernel-theorie
Vraag 1 van 8

Hoe gedraagt ​​de Neural Tangent Kernel zich tijdens de training binnen de oneindige breedtelimiet?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Hoe gedraagt ​​de Neural Tangent Kernel zich tijdens de training binnen de oneindige breedtelimiet?
    • Het blijft in wezen constant
    • Het verandert snel bij elke stap
    • Het wordt nul
    • Het groeit exponentieel
  2. Wat is de NTK wiskundig gezien?
    • De Hessiaan van het verlies
    • Het inproduct van de parametergradiënten van het netwerk voor twee ingangen
    • De softmax van de uitgangen
    • De variantie van de gewichten
  3. Wie introduceerde de Neural Tangent Kernel?
    • Hinton en Salakhutdinov
    • LeCun en Bengio
    • Jacot, Gabriël en Hongler (2018)
    • Vaswani en collega's
  4. Wat is het 'luie training'-regime?
    • Wanneer de training is gepauzeerd
    • Wanneer de optimizer geen momentum gebruikt
    • Wanneer gegevens langzaam worden ingevoerd
    • Wanneer parameters nauwelijks bewegen vanaf de initialisatie en het netwerk zich lineair gedraagt
  5. Een belangrijke beperking van de NTK-theorie voor echte netwerken is dat deze het volgende mist:
    • Functie-leren in netwerken met eindige breedte
    • De rol van gradiëntafdaling
    • Het bestaan van gewichten
    • Het gebruik van trainingsgegevens
  6. Wat wordt er mogelijk omdat de NTK de training reduceert tot kernelregressie?
    • Het elimineren van de behoefte aan gegevens
    • Het voorspellen van de getrainde output zonder volledige training
    • Modellen uitvoeren zonder parameters
    • Altijd een nultestfout gegarandeerd
  7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
    • Een verborgen Markov-model
    • Een beslisboomensemble
    • A Gaussian process
    • A finite-state game controller
  8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
    • A discrete rule that randomly changes labels
    • A decision tree that grows one branch per epoch
    • A nonlinear search over audio frames
    • A linear differential equation in function space