Kuis Superposisi dan Polisemantisitas

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dimaksud dengan 'superposisi' dalam jaringan saraf?
   • Mewakili lebih banyak fitur daripada jumlah neuron dengan tumpang tindih arahnya
   • Menumpuk beberapa model di atas satu sama lain
   • Menjalankan model dua kali dan membuat rata-rata
   • Menambahkan noise ke input selama pelatihan
2. Kondisi apa yang membuat superposisi berfungsi dengan baik meskipun ada gangguan fitur?
   • Fitur menjadi sangat aktif sepanjang waktu
   • Fitur-fiturnya jarang, sehingga hanya sedikit yang aktif secara bersamaan
   • Hanya menggunakan aktivasi positif
   • Memiliki lebih banyak neuron daripada fitur
3. Apa itu neuron 'polisemantik'?
   • Sebuah neuron yang tidak pernah aktif
   • Sebuah neuron yang hanya digunakan pada lapisan keluaran
   • Sebuah neuron yang merespons banyak konsep yang tidak berhubungan
   • Sebuah neuron tanpa koneksi
4. Makalah Anthropic manakah yang memperkenalkan studi terkontrol tentang fenomena ini pada tahun 2022?
   • Hanya Perhatian yang Anda Butuhkan
   • Klasifikasi ImageNet dengan Deep CNN
   • Memainkan Atari dengan Deep RL
   • Model Mainan Superposisi
5. Jika suatu lapisan harus menyimpan lebih banyak fitur daripada dimensinya, apa yang secara geometris tidak dapat dihindari?
   • Beberapa fitur harus berbagi arah yang tumpang tindih dan tidak ortogonal
   • Semua fiturnya bisa tetap ortogonal sempurna
   • Jaringan harus crash
   • Semua fitur menjadi identik
6. Mengapa superposisi mempersulit interpretasi?
   • Itu membuat model lebih lambat untuk dijalankan
   • Neuron tunggal tidak lagi terpetakan dengan rapi ke konsep tunggal
   • Ini menghapus semua fitur dari model
   • Ini hanya mempengaruhi lapisan masukan
7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
   • Sparse activity makes all feature directions orthogonal
   • It increases the number of neurons automatically
   • Fewer features are active at the same time, so overlapping directions collide less often
   • It removes the need for nonlinear computation
8. What does an antipodal pair of feature directions look like geometrically?
   • Two vectors at a right angle in separate dimensions
   • Two vectors with identical directions and magnitudes
   • A vector with no coordinates
   • Two directions that point opposite ways along the same line