Quiz collegato alla guida · Difficile Livello

Quiz sulla teoria del kernel tangente neurale

Testa come il Neural Tangent Kernel collega l'addestramento della rete a larghezza infinita ai metodi del kernel e alle dinamiche dello spazio delle funzioni in un limite linearizzato.

Percorsi guida correlatiTeoria del kernel tangente neurale
Domanda 1 di 8

Nel limite di larghezza infinita, come si comporta il Neural Tangent Kernel durante l'addestramento?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Nel limite di larghezza infinita, come si comporta il Neural Tangent Kernel durante l'addestramento?
    • Rimane essenzialmente costante
    • Cambia rapidamente ad ogni passo
    • Diventa zero
    • Cresce in modo esponenziale
  2. Cos'è matematicamente l'NTK?
    • L'Assia della perdita
    • Il prodotto interno dei gradienti dei parametri della rete per due input
    • Il softmax delle uscite
    • La varianza dei pesi
  3. Chi ha introdotto il Neural Tangent Kernel?
    • Hinton e Salakhutdinov
    • LeCun e Bengio
    • Jacot, Gabriel e Hongler (2018)
    • Vaswani e colleghi
  4. Qual è il regime di "allenamento pigro"?
    • Quando l'allenamento è in pausa
    • Quando l'ottimizzatore non utilizza slancio
    • Quando i dati vengono immessi lentamente
    • Quando i parametri si spostano appena dall'inizializzazione e la rete si comporta in modo lineare
  5. Una limitazione fondamentale della teoria NTK per le reti reali è che manca:
    • Apprendimento delle funzionalità nelle reti a larghezza finita
    • Il ruolo della discesa del gradiente
    • L'esistenza dei pesi
    • L'uso dei dati di addestramento
  6. Poiché NTK riduce l'addestramento alla regressione del kernel, cosa diventa possibile?
    • Eliminando la necessità di qualsiasi dato
    • Prevedere l'output addestrato senza un addestramento completo
    • Esecuzione di modelli senza parametri
    • Garantire sempre zero errori di test
  7. Nel limite di larghezza infinita, a quale modello probabilistico sono equivalenti le reti neurali all'inizializzazione?
    • Un modello Markov nascosto
    • Un insieme di alberi decisionali
    • Un processo gaussiano
    • Un controller di gioco a stati finiti
  8. Per la regressione dei minimi quadrati nel limite NTK, quale forma matematica segue l'evoluzione dell'addestramento della funzione di rete?
    • Una regola discreta che cambia le etichette casualmente
    • Un albero decisionale che cresce un ramo per epoca
    • Una ricerca non lineare sui frame audio
    • Un'equazione differenziale lineare nello spazio delle funzioni