Quiz lié à un guide · Difficile Niveau

Quiz sur la théorie du noyau tangentiel neuronal

Testez comment le noyau Neural Tangent relie la formation de réseaux de largeur infinie aux méthodes du noyau et à la dynamique de l'espace fonctionnel dans une limite linéarisée.

Chemins de guidage associésThéorie du noyau tangentiel neuronal

Question 1 de 8

Dans la limite de la largeur infinie, comment se comporte le noyau tangentiel neuronal pendant l'entraînement ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

Dans la limite de la largeur infinie, comment se comporte le noyau tangentiel neuronal pendant l'entraînement ?
- Il reste essentiellement constant
- Cela change rapidement à chaque étape
- Il devient nul
- Il croît de façon exponentielle
Qu'est-ce que le NTK mathématiquement ?
- Le Hessien de la perte
- Le produit interne des gradients de paramètres du réseau pour deux entrées
- Le softmax des sorties
- La variance des poids
Qui a introduit le noyau Neural Tangent ?
- Hinton et Salakhutdinov
- LeCun et Bengio
- Jacot, Gabriel et Hongler (2018)
- Vaswani et ses collègues
Qu'est-ce que le régime « d'entraînement paresseux » ?
- Lorsque l'entraînement est interrompu
- Lorsque l'optimiseur n'utilise aucun élan
- Lorsque les données sont introduites lentement
- Lorsque les paramètres bougent à peine depuis l'initialisation et que le réseau se comporte de manière linéaire
L’une des principales limites de la théorie NTK pour les réseaux réels est qu’elle manque :
- Apprentissage de fonctionnalités dans les réseaux de largeur finie
- Le rôle de la descente de gradient
- L'existence de poids
- L'utilisation des données de formation
Parce que le NTK réduit la formation à la régression du noyau, que devient-il possible ?
- Éliminer le besoin de données
- Prédire la sortie entraînée sans formation complète
- Exécution de modèles sans paramètres
- Garantir toujours zéro erreur de test
In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
- Un modèle de Markov caché
- Un ensemble d’arbres de décision
- A Gaussian process
- A finite-state game controller
For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
- A discrete rule that randomly changes labels
- A decision tree that grows one branch per epoch
- A nonlinear search over audio frames
- A linear differential equation in function space