Mit dem Guide verknüpftes Quiz · Schwer Ebene

Quiz zur neuronalen Tangentenkerntheorie

Testen Sie, wie der Neural Tangent Kernel das Training eines Netzwerks mit unendlicher Breite mit Kernelmethoden und der Dynamik des Funktionsraums in einem linearisierten Grenzwert verknüpft.

Verwandte FührungspfadeTheorie des neuronalen Tangentenkerns
Frage 1 von 8

Wie verhält sich der neuronale Tangentenkern im unendlichen Breitenlimit während des Trainings?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Wie verhält sich der neuronale Tangentenkern im unendlichen Breitenlimit während des Trainings?
    • Es bleibt im Wesentlichen konstant
    • Es verändert sich bei jedem Schritt schnell
    • Es wird Null
    • Es wächst exponentiell
  2. Was ist der NTK mathematisch?
    • Der Hessische des Verlustes
    • Das innere Produkt der Parametergradienten des Netzwerks für zwei Eingaben
    • Der Softmax der Ausgänge
    • Die Varianz der Gewichte
  3. Wer hat den Neural Tangent Kernel eingeführt?
    • Hinton und Salakhutdinov
    • LeCun und Bengio
    • Jacot, Gabriel und Hongler (2018)
    • Vaswani und Kollegen
  4. Was ist das „Lazy-Training“-Regime?
    • Wenn das Training pausiert
    • Wenn der Optimierer keinen Impuls verwendet
    • Wenn Daten langsam eingespeist werden
    • Wenn sich die Parameter seit der Initialisierung kaum bewegen und sich das Netzwerk linear verhält
  5. Eine wesentliche Einschränkung der NTK-Theorie für reale Netzwerke besteht darin, dass ihr Folgendes fehlt:
    • Feature-Lernen in Netzwerken endlicher Breite
    • Die Rolle des Gradientenabstiegs
    • Die Existenz von Gewichten
    • Die Verwendung von Trainingsdaten
  6. Was wird möglich, weil das NTK das Training auf die Kernel-Regression reduziert?
    • Eliminierung der Notwendigkeit jeglicher Daten
    • Vorhersage der trainierten Ausgabe ohne vollständiges Training
    • Ausführen von Modellen ohne Parameter
    • Garantiert immer einen Null-Testfehler
  7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
    • Ein verstecktes Markov-Modell
    • Ein Entscheidungsbaum-Ensemble
    • A Gaussian process
    • A finite-state game controller
  8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
    • A discrete rule that randomly changes labels
    • A decision tree that grows one branch per epoch
    • A nonlinear search over audio frames
    • A linear differential equation in function space