Kuis Teori Kernel Tangen Syaraf

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Dalam batas lebar tak terbatas, bagaimana perilaku Neural Tangent Kernel selama pelatihan?
   • Pada dasarnya tetap konstan
   • Itu berubah dengan cepat di setiap langkah
   • Ini menjadi nol
   • Itu tumbuh secara eksponensial
2. Apa NTK secara matematis?
   • Kerugian Hessian
   • Produk dalam dari gradien parameter jaringan untuk dua input
   • Softmax dari output
   • Varians bobot
3. Siapa yang memperkenalkan Neural Tangent Kernel?
   • Hinton dan Salakhutdinov
   • LeCun dan Bengio
   • Jacot, Gabriel, dan Hongler (2018)
   • Vaswani dan rekannya
4. Apa yang dimaksud dengan rezim 'pelatihan malas'?
   • Saat pelatihan dihentikan sementara
   • Ketika pengoptimal tidak menggunakan momentum
   • Saat data dimasukkan secara perlahan
   • Ketika parameter hampir tidak berpindah dari inisialisasi dan jaringan berperilaku linier
5. Keterbatasan utama teori NTK untuk jaringan nyata adalah teori ini tidak memenuhi:
   • Pembelajaran fitur dalam jaringan dengan lebar terbatas
   • Peran penurunan gradien
   • Keberadaan beban
   • Penggunaan data pelatihan
6. Karena NTK mengurangi pelatihan menjadi regresi kernel, apa yang mungkin terjadi?
   • Menghilangkan kebutuhan akan data apa pun
   • Memprediksi keluaran yang dilatih tanpa pelatihan penuh
   • Menjalankan model tanpa parameter
   • Menjamin nol kesalahan pengujian selalu
7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
   • Model Markov yang tersembunyi
   • Ansambel pohon keputusan
   • A Gaussian process
   • A finite-state game controller
8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
   • A discrete rule that randomly changes labels
   • A decision tree that grows one branch per epoch
   • A nonlinear search over audio frames
   • A linear differential equation in function space