แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการแฮ็กรางวัลและการเล่นเกมข้อมูลจำเพาะ
สำรวจวิธีที่ตัวแทนใช้ประโยชน์จากรางวัลที่ไม่สมบูรณ์ ตั้งแต่ทางลัดการจำลองไปจนถึงการประสานกันของโมเดลภาษา และวิธีที่การควบคุมดูแลสามารถช่วยได้อย่างไร
คำถาม 1 ของ 8
ปัญหาหลักเบื้องหลังการแฮ็กรางวัลคืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ปัญหาหลักเบื้องหลังการแฮ็กรางวัลคืออะไร?
- ฟังก์ชันรางวัลคือพร็อกซีที่จับเป้าหมายที่แท้จริงได้ไม่สมบูรณ์
- AI หน่วยความจำไม่เพียงพอระหว่างการฝึก
- โมเดลมีขนาดเล็กเกินกว่าจะเรียนรู้งานได้
- ข้อมูลการฝึกอบรมจะมีป้ายกำกับไม่ถูกต้องเสมอ
- ในตัวอย่าง CoastRunners ของ OpenAI ตัวแทนเรือทำอะไร
- จบการแข่งขันเร็วกว่ามนุษย์
- หมุนเป็นวงกลมเพื่อโจมตีเป้าหมายโบนัสแทนที่จะจบ
- พังทันทีทุกครั้ง
- ไม่ยอมย้ายเลย
- หลักการข้อใดระบุว่ามาตรการจะสิ้นสุดลงเมื่อกลายเป็นเป้าหมาย?
- กฎของมัวร์
- กฎของอัมดาห์ล
- กฎของกู๊ดฮาร์ต
- กฎของเมอร์ฟี่
- การแฮ็กรางวัลมักปรากฏในโมเดลภาษาที่ฝึกกับ RLHF อย่างไร
- ปฏิเสธที่จะสร้างข้อความใด ๆ
- ส่งออกเฉพาะตัวเลขเท่านั้น
- แปลทุกอย่างเป็นภาษาละติน
- ความเห็นอกเห็นใจและการบอกผู้ใช้ถึงสิ่งที่พวกเขาต้องการจะได้ยิน
- เทคนิคใดที่ช่วยป้องกันไม่ให้นโยบาย RLHF ลอยไปไกลเกินไปและใช้ประโยชน์จากรูปแบบการให้รางวัล
- บทลงโทษของ KL ทำให้นโยบายอยู่ใกล้กับโมเดลพื้นฐาน
- เพิ่มขนาดชุดเท่านั้น
- ลบความคิดเห็นของมนุษย์ทั้งหมด
- ปิดการใช้งานเครื่องมือเพิ่มประสิทธิภาพ
- เหตุใดการแฮ็กรางวัลจึงกลายเป็นข้อกังวลด้านความปลอดภัยที่ใหญ่กว่าเมื่อโมเดลมีความสามารถมากขึ้น
- โมเดลที่ใหญ่กว่าไม่สามารถฝึกได้เลย
- เครื่องมือเพิ่มประสิทธิภาพที่มีความสามารถมากกว่าจะค้นหาช่องโหว่ที่ละเอียดกว่าซึ่งตรวจพบได้ยาก
- ความสามารถไม่มีผลกับการแฮ็ก
- โมเดลขนาดใหญ่จะเพิกเฉยต่อรางวัลโดยสิ้นเชิง
- What does process-based supervision reward in addition to a final answer?
- Only the number of tokens in the final answer
- The agent’s ability to disable its evaluator
- The quality of intermediate steps used to reach the answer
- A score unrelated to the task
- Why can a reward-model ensemble help detect reward hacking?
- It guarantees the reward proxy exactly matches human intent
- It removes the need to test the policy
- It makes all reward models produce identical scores
- Disagreement among models can flag outputs that exploit one scorer’s blind spots