Quiz z teorii jądra stycznego neuronowego

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jak w limicie nieskończonej szerokości zachowuje się jądro styczne neuronowe podczas treningu?
   • Pozostaje w zasadzie stała
   • Zmienia się szybko na każdym kroku
   • Staje się zerem
   • Rośnie wykładniczo
2. Czym jest matematycznie NTK?
   • Hesjanin straty
   • Wewnętrzny iloczyn gradientów parametrów sieci dla dwóch wejść
   • Softmax wyjść
   • Różnica wag
3. Kto wprowadził jądro neuronowe?
   • Hinton i Salakhutdinov
   • LeCuna i Bengio
   • Jacot, Gabriel i Hongler (2018)
   • Vaswani i współpracownicy
4. Na czym polega reżim „leniwego szkolenia”?
   • Kiedy trening jest wstrzymany
   • Gdy optymalizator nie wykorzystuje pędu
   • Kiedy dane są wprowadzane powoli
   • Gdy parametry ledwo zmieniają się od inicjalizacji, a sieć zachowuje się liniowo
5. Kluczowym ograniczeniem teorii NTK dla sieci rzeczywistych jest to, że pomija ona:
   • Uczenie się funkcji w sieciach o skończonej szerokości
   • Rola opadania gradientowego
   • Istnienie ciężarów
   • Wykorzystanie danych treningowych
6. Ponieważ NTK redukuje szkolenie do regresji jądra, co staje się możliwe?
   • Eliminacja konieczności podawania jakichkolwiek danych
   • Przewidywanie wyszkolonych wyników bez pełnego szkolenia
   • Uruchamianie modeli bez parametrów
   • Gwarantowanie zawsze zerowego błędu testowego
7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
   • Ukryty model Markowa
   • Zespół drzewa decyzyjnego
   • A Gaussian process
   • A finite-state game controller
8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
   • A discrete rule that randomly changes labels
   • A decision tree that grows one branch per epoch
   • A nonlinear search over audio frames
   • A linear differential equation in function space