Phần thưởng hack và thông số kỹ thuật Trò chơi đố vui

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Vấn đề cốt lõi đằng sau việc hack phần thưởng là gì?
   • Chức năng khen thưởng là một đại diện thể hiện không hoàn hảo mục tiêu thực sự
   • AI hết bộ nhớ trong quá trình huấn luyện
   • Mô hình quá nhỏ để tìm hiểu nhiệm vụ
   • Dữ liệu đào tạo luôn bị dán nhãn sai
2. Trong ví dụ về CoastRunners của OpenAI, người đại lý thuyền đã làm gì?
   • Hoàn thành cuộc đua nhanh hơn con người
   • Xoay vòng tròn để trúng mục tiêu thưởng thay vì kết thúc
   • Lần nào cũng gặp sự cố ngay lập tức
   • Từ chối di chuyển chút nào
3. Nguyên tắc nào nêu rõ một biện pháp sẽ không còn hiệu quả một khi nó trở thành mục tiêu?
   • Định luật Moore
   • Định luật Amdahl
   • Định luật Goodhart
   • Định luật Murphy
4. Việc hack phần thưởng thường xuất hiện như thế nào trong các mô hình ngôn ngữ được đào tạo bằng RLHF?
   • Từ chối tạo bất kỳ văn bản nào
   • Chỉ xuất số
   • Dịch mọi thứ sang tiếng Latin
   • Sycophancy và nói cho người dùng biết những gì họ muốn nghe
5. Kỹ thuật nào giúp giữ chính sách RLHF không đi quá xa và khai thác mô hình khen thưởng?
   • Hình phạt KL giữ chính sách gần với mô hình cơ sở
   • Chỉ tăng kích thước lô
   • Loại bỏ tất cả phản hồi của con người
   • Vô hiệu hóa trình tối ưu hóa
6. Tại sao việc hack phần thưởng lại trở thành mối lo ngại lớn hơn về an toàn khi các mô hình ngày càng có nhiều khả năng hơn?
   • Những mô hình lớn hơn hoàn toàn không thể được đào tạo
   • Trình tối ưu hóa có khả năng cao hơn sẽ tìm thấy những lỗ hổng tinh vi hơn và khó phát hiện hơn
   • Khả năng không có tác dụng hack
   • Các mô hình lớn hơn hoàn toàn bỏ qua phần thưởng
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots