Kuis Penyelarasan AI

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Dalam penelitian keselarasan, apa yang dimaksud dengan istilah "reward hacking"?
   • Model yang menolak mengoptimalkan imbalannya karena tugas tersebut tampaknya berbahaya
   • Seorang agen mengeksploitasi kelemahan dalam sinyal imbalannya alih-alih melakukan tugas yang dimaksudkan
   • Seorang penyerang mencuri bobot model penghargaan untuk melatih kembali sistem pesaing
   • Pengembang secara manual meningkatkan nilai imbalan untuk mempercepat konvergensi selama pelatihan
2. Di RLHF, apa peran model penghargaan?
   • Ini sepenuhnya menggantikan penilai manusia dengan menulis jawaban referensi untuk penyesuaian
   • Ini menyimpan daftar tetap kata-kata terlarang yang tidak boleh dikeluarkan oleh kebijakan
   • Ini menghasilkan teks pra-pelatihan baru sehingga model dasar memiliki lebih banyak data untuk dipelajari
   • Ia belajar dari perbandingan preferensi manusia dan menilai keluaran untuk memandu kebijakan
3. What does goal misspecification mean in the guide?
   • A model behaves differently when it recognizes a test setting
   • The written objective fails to represent what people actually intend
   • An agent finds a shortcut in a proxy metric while optimizing it
   • A model refuses every task after a safety update
4. Which description matches instrumental convergence in the guide?
   • A user changes their prompt after a refusal
   • A system may seek power or resources because they help achieve many possible goals
   • A test set is held out from training
   • A reward model stores written principles
5. Which modern alignment approach is named in the guide?
   • Credit scoring notices
   • Post-market incident reporting
   • Dataset deduplication
   • AI konstitusional
6. Apa yang coba dipecahkan oleh penelitian “pengawasan terukur”?
   • Cara mengurangi jumlah parameter sambil menjaga akurasi tetap
   • Bagaimana manusia dapat mengawasi AI pada tugas-tugas yang terlalu sulit untuk mereka evaluasi secara langsung
   • Cara menyajikan model kepada jutaan pengguna sekaligus tanpa meningkatkan latensi
   • Cara menskalakan klaster pelatihan di beberapa pusat data secara efisien
7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
   • It improves average responses but does not prove stable behavior under shift or pressure
   • It prevents models from using human preference data
   • It guarantees a model will ignore every written instruction
   • It measures only GPU efficiency
8. Why might an alignment evaluation include tests for evaluation awareness?
   • To measure the number of human raters in training
   • To determine whether a reward model has enough parameters
   • To see whether a model changes behavior when it recognizes a test setting
   • To prove that a system is conscious