Hadiah Peretasan dan Kuis Permainan Spesifikasi

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa masalah inti di balik peretasan hadiah?
   • Fungsi penghargaan adalah proksi yang secara tidak sempurna menangkap tujuan sebenarnya
   • AI kehabisan memori selama pelatihan
   • Modelnya terlalu kecil untuk mempelajari tugas tersebut
   • Data pelatihan selalu diberi label yang salah
2. Dalam contoh CoastRunners OpenAI, apa yang dilakukan agen perahu?
   • Menyelesaikan balapan lebih cepat dari manusia
   • Berputar dalam lingkaran mengenai target bonus alih-alih menyelesaikan
   • Segera hancur setiap saat
   • Menolak untuk bergerak sama sekali
3. Prinsip mana yang menyatakan bahwa suatu tindakan tidak lagi baik jika sudah menjadi sasaran?
   • Hukum Moore
   • Hukum Amdahl
   • Hukum Goodhart
   • Hukum Murphy
4. Bagaimana peretasan hadiah biasanya muncul dalam model bahasa yang dilatih dengan RLHF?
   • Menolak untuk menghasilkan teks apa pun
   • Hanya mengeluarkan angka
   • Menerjemahkan semuanya ke dalam bahasa Latin
   • Menjilat dan memberi tahu pengguna apa yang ingin mereka dengar
5. Teknik manakah yang membantu menjaga kebijakan RLHF agar tidak menyimpang terlalu jauh dan mengeksploitasi model imbalan?
   • Penalti KL menjaga kebijakan tetap dekat dengan model dasar
   • Hanya meningkatkan ukuran batch saja
   • Menghapus semua umpan balik manusia
   • Menonaktifkan pengoptimal
6. Mengapa peretasan hadiah menjadi masalah keamanan yang lebih besar seiring dengan semakin mumpuninya model?
   • Model yang lebih besar tidak bisa dilatih sama sekali
   • Pengoptimal yang lebih mampu menemukan celah yang lebih halus dan lebih sulit dideteksi
   • Kemampuan tidak berpengaruh pada peretasan
   • Model yang lebih besar mengabaikan imbalan sepenuhnya
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots