Kuiz berkaitan panduan · Keras Tahap

Kuiz Superposisi dan Polisemantisiti

Semakan menampilkan superposisi, sparsity, neuron polisemantik, arah bertindih dan geometri perwakilan termampat.

Laluan panduan yang berkaitanSuperposisi Dan Polisemantisiti
soalan 1 daripada 8

Apakah yang dimaksudkan dengan 'superposisi' dalam rangkaian saraf?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang dimaksudkan dengan 'superposisi' dalam rangkaian saraf?
    • Mewakili lebih banyak ciri daripada neuron dengan bertindih arahnya
    • Menyusun berbilang model di atas satu sama lain
    • Menjalankan model dua kali dan purata
    • Menambah bunyi pada input semasa latihan
  2. Apakah keadaan yang menjadikan superposisi berfungsi dengan baik walaupun terdapat gangguan ciri?
    • Ciri yang padat aktif sepanjang masa
    • Ciri adalah jarang, jadi sedikit yang aktif secara serentak
    • Hanya menggunakan pengaktifan positif
    • Mempunyai lebih banyak neuron daripada ciri
  3. Apakah neuron 'polisemantik'?
    • Neuron yang tidak pernah aktif
    • Neuron yang digunakan hanya dalam lapisan keluaran
    • Neuron yang bertindak balas kepada banyak konsep yang tidak berkaitan
    • Neuron tanpa sambungan
  4. Kertas Anthropic manakah yang memperkenalkan kajian terkawal fenomena ini pada tahun 2022?
    • Perhatian Adalah Semua yang Anda Perlukan
    • Klasifikasi ImageNet dengan Deep CNNs
    • Memainkan Atari dengan Deep RL
    • Model Mainan Superposisi
  5. Jika lapisan mesti menyimpan lebih banyak ciri daripada saiznya, apakah yang tidak dapat dielakkan secara geometri?
    • Sesetengah ciri mesti berkongsi arah bertindih, bukan ortogon
    • Semua ciri boleh kekal ortogonal sempurna
    • Rangkaian mesti ranap
    • Semua ciri menjadi sama
  6. Mengapa superposisi menjadikan kebolehtafsiran lebih sukar?
    • Ia menjadikan model lebih perlahan untuk dijalankan
    • Neuron tunggal tidak lagi memetakan secara bersih kepada konsep tunggal
    • Ia mengalih keluar semua ciri daripada model
    • Ia hanya menjejaskan lapisan input
  7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
    • Sparse activity makes all feature directions orthogonal
    • It increases the number of neurons automatically
    • Fewer features are active at the same time, so overlapping directions collide less often
    • It removes the need for nonlinear computation
  8. What does an antipodal pair of feature directions look like geometrically?
    • Two vectors at a right angle in separate dimensions
    • Two vectors with identical directions and magnitudes
    • A vector with no coordinates
    • Two directions that point opposite ways along the same line