Penyelidikan Linear dan Kuiz Penilaian Ciri Beku

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Dalam probe linear standard, parameter manakah yang dikemas kini semasa latihan?
   • Hanya pengelas linear yang baru ditambah di atas
   • Seluruh tulang belakang ditambah lapisan linear
   • Hanya tulang belakang, meninggalkan pengelas tetap
   • Lapisan pembenaman dan blok perhatian akhir
2. What does high linear-probe accuracy most directly show?
   • The backbone causally uses the feature for every prediction
   • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
   • The representation is robust to every distribution shift
   • The probe has identified a human-interpretable mechanism
3. Berbanding dengan penalaan halus penuh, probing linear terutamanya menarik kerana ia adalah:
   • Lebih tepat pada setiap tugas
   • Dijamin untuk menyamaratakan lebih baik daripada pengedaran
   • Lebih murah dalam pengiraan dan ingatan serta memberikan bacaan yang lebih bersih pada kualiti ciri
   • Satu-satunya cara untuk menggunakan model terlatih
4. Penemuan empirikal yang biasa semasa menyelidik transformer ialah:
   • Lapisan akhir sentiasa memberikan ketepatan probe terbaik
   • Penyelidikan hanya berfungsi pada rangkaian konvolusi
   • Pilihan lapisan tidak pernah menjejaskan hasil siasatan
   • Lapisan pertengahan selalunya mengatasi prestasi lapisan terakhir untuk pemindahan
5. Di luar penanda aras, probe linear semakin digunakan dalam kebolehtafsiran untuk:
   • Kesan sama ada konsep seperti kebenaran dikodkan dalam keadaan tersembunyi
   • Model mampat untuk penggunaan mudah alih
   • Gantikan pengoptimum semasa pralatihan
   • Hasilkan data latihan baharu secara automatik
6. Risiko metodologi utama apabila mentafsir ketepatan siasatan tinggi ialah:
   • Tulang belakang diam-diam menyimpan latihan
   • Siasatan mungkin mengeksploitasi korelasi palsu dan bukannya konsep sebenar
   • Kuar linear tidak boleh terlalu muat
   • Kehilangan entropi silang tidak boleh digunakan
7. To compare two backbone layers with linear probes, what should remain consistent?
   • The feature vectors from each layer
   • The layer being evaluated
   • The task labels, data split and probe-training protocol
   • The activation values themselves
8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
   • To update the frozen backbone
   • To add hidden nonlinear layers to the probe
   • To guarantee the concept is causally used
   • To reduce optimization and scale effects that could distort the representation comparison