Kuiz berkaitan panduan · Keras Tahap

Autoencoders Jarang untuk Kuiz Kebolehtafsiran

Menyemak pembinaan semula pengekod auto yang jarang dan keterlaluan, ciri pengaktifan, pengembangan lebar, pemisahan ciri dan eksperimen stereng sebab akibat.

Laluan panduan yang berkaitanAutoenkoder Jarang Untuk Kebolehtafsiran
soalan 1 daripada 8

Apakah tujuan utama melatih pengekod automatik yang jarang pada pengaktifan model?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah tujuan utama melatih pengekod automatik yang jarang pada pengaktifan model?
    • Untuk menguraikan pengaktifan kusut menjadi ciri yang boleh ditafsir, kebanyakannya terpencil
    • Untuk memampatkan model supaya ia berjalan lebih pantas
    • Untuk menterjemah teks antara bahasa
    • Untuk meningkatkan ketepatan model pada penanda aras
  2. Bagaimanakah penalti sparsity SAE mempengaruhi pengaktifan unit tersembunyi?
    • Ia menjamin setiap unit mewakili tepat satu konsep
    • Ia menggalakkan hanya subset kecil lapisan tersembunyi yang lebih luas untuk mengaktifkan input
    • Ia menjadikan setiap unit tersembunyi diaktifkan sama
    • Ia menghapuskan objektif pembinaan semula
  3. Kira-kira berapa banyak ciri yang Anthropic ekstrak semasa menskalakan SAE kepada Claude 3 Sonnet pada tahun 2024?
    • Kira-kira 500
    • Kira-kira 2,000
    • Kira-kira 34 juta
    • Kira-kira 100 bilion
  4. Apakah yang ditunjukkan oleh demonstrasi 'Golden Gate Claude'?
    • Bahawa SAE hanya boleh dilatih pada imej
    • Bahawa model tidak lagi dapat menghasilkan teks
    • Ciri itu tidak mempunyai kesan ke atas output
    • Pengapitan satu ciri tinggi menyebabkan kelakuan model
  5. Mengapa lapisan tersembunyi dalam SAE biasanya lebih LEBAR daripada pengaktifan yang dibina semula?
    • Oleh kerana konsep ditindih dalam dimensi yang lebih sedikit daripada yang mereka perlukan, jadi lebih banyak unit membantu merungkainya
    • Untuk membuat latihan lebih murah
    • Kerana lapisan yang lebih luas sentiasa lebih tepat
    • Untuk mengurangkan bilangan parameter
  6. Yang manakah merupakan had yang diketahui bagi pengekod auto jarang semasa?
    • Mereka tidak boleh dilatih dengan keturunan kecerunan
    • Pemisahan ciri, di mana satu konsep pecah kepada banyak ciri yang berasingan
    • Mereka hanya berfungsi pada rangkaian konvolusi
    • Mereka menghapuskan keperluan untuk sebarang pelabelan manusia
  7. Dua objektif yang manakah biasanya digabungkan semasa melatih pengekod automatik yang jarang?
    • Kecerunan dasar dan kehilangan nilai
    • Kerugian token seterusnya dan kerugian kontras
    • Ralat pembinaan semula dan penalti pada pengaktifan tersembunyi
    • Ralat penentukuran dan ketepatan pengelasan
  8. Apakah yang dilakukan oleh autoenkoder jarang TopK untuk menggalakkan jarang?
    • Mengekalkan piksel input terbesar K dan membuang penyahkod
    • Tetapkan semua berat pengekod kepada sifar
    • Melatih K tokenizer yang berbeza
    • Hanya menyimpan pengaktifan tersembunyi K terbesar untuk input