Quiz collegato alla guida · Difficile Livello
Quiz sulla teoria del kernel tangente neurale
Testa come il Neural Tangent Kernel collega l'addestramento della rete a larghezza infinita ai metodi del kernel e alle dinamiche dello spazio delle funzioni in un limite linearizzato.
Domanda 1 di 8
Nel limite di larghezza infinita, come si comporta il Neural Tangent Kernel durante l'addestramento?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Nel limite di larghezza infinita, come si comporta il Neural Tangent Kernel durante l'addestramento?
- Rimane essenzialmente costante
- Cambia rapidamente ad ogni passo
- Diventa zero
- Cresce in modo esponenziale
- Cos'è matematicamente l'NTK?
- L'Assia della perdita
- Il prodotto interno dei gradienti dei parametri della rete per due input
- Il softmax delle uscite
- La varianza dei pesi
- Chi ha introdotto il Neural Tangent Kernel?
- Hinton e Salakhutdinov
- LeCun e Bengio
- Jacot, Gabriel e Hongler (2018)
- Vaswani e colleghi
- Qual è il regime di "allenamento pigro"?
- Quando l'allenamento è in pausa
- Quando l'ottimizzatore non utilizza slancio
- Quando i dati vengono immessi lentamente
- Quando i parametri si spostano appena dall'inizializzazione e la rete si comporta in modo lineare
- Una limitazione fondamentale della teoria NTK per le reti reali è che manca:
- Apprendimento delle funzionalità nelle reti a larghezza finita
- Il ruolo della discesa del gradiente
- L'esistenza dei pesi
- L'uso dei dati di addestramento
- Poiché NTK riduce l'addestramento alla regressione del kernel, cosa diventa possibile?
- Eliminando la necessità di qualsiasi dato
- Prevedere l'output addestrato senza un addestramento completo
- Esecuzione di modelli senza parametri
- Garantire sempre zero errori di test
- Nel limite di larghezza infinita, a quale modello probabilistico sono equivalenti le reti neurali all'inizializzazione?
- Un modello Markov nascosto
- Un insieme di alberi decisionali
- Un processo gaussiano
- Un controller di gioco a stati finiti
- Per la regressione dei minimi quadrati nel limite NTK, quale forma matematica segue l'evoluzione dell'addestramento della funzione di rete?
- Una regola discreta che cambia le etichette casualmente
- Un albero decisionale che cresce un ramo per epoca
- Una ricerca non lineare sui frame audio
- Un'equazione differenziale lineare nello spazio delle funzioni