Test de teorie a nucleului tangentă neuronală

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. În limita lățimii infinite, cum se comportă nucleul tangent neural în timpul antrenamentului?
   • Ea rămâne în esență constantă
   • Se schimbă rapid la fiecare pas
   • Devine zero
   • Crește exponențial
2. Ce este NTK din punct de vedere matematic?
   • Hessianul pierderii
   • Produsul interior al gradienților parametrilor rețelei pentru două intrări
   • Softmax-ul ieșirilor
   • Varianta greutatilor
3. Cine a introdus nucleul tangent neural?
   • Hinton și Salakhutdinov
   • LeCun și Bengio
   • Jacot, Gabriel și Hongler (2018)
   • Vaswani și colegii
4. Ce este regimul de „antrenament leneș”?
   • Când antrenamentul este întrerupt
   • Când optimizatorul nu folosește impuls
   • Când datele sunt introduse încet
   • Când parametrii abia se mută de la inițializare și rețeaua se comportă liniar
5. O limitare esențială a teoriei NTK pentru rețelele reale este că ratează:
   • Învățarea caracteristicilor în rețele cu lățime finită
   • Rolul coborârii în gradient
   • Existența greutăților
   • Utilizarea datelor de antrenament
6. Deoarece NTK reduce antrenamentul la regresia nucleului, ce devine posibil?
   • Eliminarea necesității oricăror date
   • Prezicerea rezultatului instruit fără antrenament complet
   • Rularea modelelor fără parametri
   • Garantând întotdeauna eroare de testare zero
7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
   • Un model Markov ascuns
   • Un ansamblu de arbore de decizie
   • A Gaussian process
   • A finite-state game controller
8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
   • A discrete rule that randomly changes labels
   • A decision tree that grows one branch per epoch
   • A nonlinear search over audio frames
   • A linear differential equation in function space