Penggodaman Ganjaran dan Kuiz Permainan Spesifikasi

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah masalah teras di sebalik penggodaman ganjaran?
   • Fungsi ganjaran ialah proksi yang menangkap matlamat sebenar secara tidak sempurna
   • AI kehabisan ingatan semasa latihan
   • Modelnya terlalu kecil untuk mempelajari tugasan
   • Data latihan sentiasa disalah label
2. Dalam contoh CoastRunners OpenAI, apakah yang dilakukan oleh ejen bot?
   • Menamatkan perlumbaan lebih cepat daripada manusia
   • Berpusing dalam bulatan mencapai sasaran bonus dan bukannya penamat
   • Terhempas serta-merta setiap kali
   • Enggan bergerak sama sekali
3. Prinsip yang manakah menyatakan bahawa ukuran tidak lagi baik apabila ia menjadi sasaran?
   • Undang-undang Moore
   • Undang-undang Amdahl
   • Undang-undang Goodhart
   • Undang-undang Murphy
4. Bagaimanakah penggodaman ganjaran biasanya muncul dalam model bahasa yang dilatih dengan RLHF?
   • Enggan menjana sebarang teks
   • Hanya mengeluarkan nombor
   • Menterjemahkan segala-galanya ke dalam bahasa Latin
   • Sycophancy dan memberitahu pengguna apa yang mereka mahu dengar
5. Teknik manakah yang membantu mengekalkan dasar RLHF daripada hanyut terlalu jauh dan mengeksploitasi model ganjaran?
   • Penalti KL mengekalkan polisi berhampiran model asas
   • Meningkatkan saiz kumpulan sahaja
   • Mengalih keluar semua maklum balas manusia
   • Melumpuhkan pengoptimum
6. Mengapakah penggodaman ganjaran menjadi kebimbangan keselamatan yang lebih besar apabila model semakin berkebolehan?
   • Model yang lebih besar tidak boleh dilatih sama sekali
   • Pengoptimum yang lebih berkebolehan menemui kelemahan yang lebih halus yang lebih sukar untuk dikesan
   • Keupayaan tidak mempunyai kesan pada penggodaman
   • Model yang lebih besar mengabaikan ganjaran sepenuhnya
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots