Autoencoder Jarang untuk Kuis Interpretabilitas

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa tujuan utama melatih autoencoder renggang pada aktivasi model?
   • Untuk menguraikan aktivasi yang kusut menjadi fitur-fitur yang dapat diinterpretasikan dan sebagian besar terisolasi
   • Untuk mengompresi model agar berjalan lebih cepat
   • Untuk menerjemahkan teks antar bahasa
   • Untuk meningkatkan akurasi model pada benchmark
2. How does an SAE’s sparsity penalty affect hidden-unit activations?
   • It guarantees each unit represents exactly one concept
   • It encourages only a small subset of the wider hidden layer to activate for an input
   • It makes every hidden unit activate equally
   • It removes the reconstruction objective
3. Kira-kira berapa banyak fitur yang diekstraksi Anthropic saat menskalakan SAE ke Claude 3 Soneta pada tahun 2024?
   • Sekitar 500
   • Sekitar 2.000
   • Sekitar 34 juta
   • Sekitar 100 miliar
4. Apa yang ditunjukkan oleh demonstrasi 'Golden Gate Claude'?
   • SAE itu hanya bisa dilatih dengan gambar
   • Bahwa model tidak dapat lagi menghasilkan teks
   • Fitur tersebut tidak berpengaruh pada keluaran
   • Menjepit satu fitur tinggi secara kausal akan mengarahkan perilaku model
5. Mengapa lapisan tersembunyi dalam SAE biasanya jauh LEBIH LUAS daripada aktivasi yang direkonstruksinya?
   • Karena konsep ditumpangkan dalam dimensi yang lebih sedikit daripada yang sebenarnya dibutuhkan, maka lebih banyak unit membantu menguraikannya
   • Untuk membuat pelatihan lebih murah
   • Karena lapisan yang lebih luas selalu lebih akurat
   • Untuk mengurangi jumlah parameter
6. Manakah yang merupakan batasan yang diketahui dari autoencoder renggang saat ini?
   • Mereka tidak bisa dilatih dengan penurunan gradien
   • Pemisahan fitur, dimana satu konsep dipecah menjadi beberapa fitur terpisah
   • Mereka hanya bekerja pada jaringan konvolusional
   • Mereka menghilangkan kebutuhan akan pelabelan manusia
7. Which two objectives are commonly combined when training a sparse autoencoder?
   • A policy gradient and value loss
   • A next-token loss and a contrastive loss
   • Reconstruction error and a penalty on hidden activations
   • A calibration error and classification accuracy
8. What does a TopK sparse autoencoder do to encourage sparsity?
   • Keeps the K largest input pixels and discards the decoder
   • Sets all encoder weights to zero
   • Trains K different tokenizers
   • Keeps only the K largest hidden activations for an input