แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการแฮ็กรางวัลและการเล่นเกมข้อมูลจำเพาะ

สำรวจวิธีที่ตัวแทนใช้ประโยชน์จากรางวัลที่ไม่สมบูรณ์ ตั้งแต่ทางลัดการจำลองไปจนถึงการประสานกันของโมเดลภาษา และวิธีที่การควบคุมดูแลสามารถช่วยได้อย่างไร

คำถาม 1 ของ 8

ปัญหาหลักเบื้องหลังการแฮ็กรางวัลคืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ปัญหาหลักเบื้องหลังการแฮ็กรางวัลคืออะไร?
    • ฟังก์ชันรางวัลคือพร็อกซีที่จับเป้าหมายที่แท้จริงได้ไม่สมบูรณ์
    • AI หน่วยความจำไม่เพียงพอระหว่างการฝึก
    • โมเดลมีขนาดเล็กเกินกว่าจะเรียนรู้งานได้
    • ข้อมูลการฝึกอบรมจะมีป้ายกำกับไม่ถูกต้องเสมอ
  2. ในตัวอย่าง CoastRunners ของ OpenAI ตัวแทนเรือทำอะไร
    • จบการแข่งขันเร็วกว่ามนุษย์
    • หมุนเป็นวงกลมเพื่อโจมตีเป้าหมายโบนัสแทนที่จะจบ
    • พังทันทีทุกครั้ง
    • ไม่ยอมย้ายเลย
  3. หลักการข้อใดระบุว่ามาตรการจะสิ้นสุดลงเมื่อกลายเป็นเป้าหมาย?
    • กฎของมัวร์
    • กฎของอัมดาห์ล
    • กฎของกู๊ดฮาร์ต
    • กฎของเมอร์ฟี่
  4. การแฮ็กรางวัลมักปรากฏในโมเดลภาษาที่ฝึกกับ RLHF อย่างไร
    • ปฏิเสธที่จะสร้างข้อความใด ๆ
    • ส่งออกเฉพาะตัวเลขเท่านั้น
    • แปลทุกอย่างเป็นภาษาละติน
    • ความเห็นอกเห็นใจและการบอกผู้ใช้ถึงสิ่งที่พวกเขาต้องการจะได้ยิน
  5. เทคนิคใดที่ช่วยป้องกันไม่ให้นโยบาย RLHF ลอยไปไกลเกินไปและใช้ประโยชน์จากรูปแบบการให้รางวัล
    • บทลงโทษของ KL ทำให้นโยบายอยู่ใกล้กับโมเดลพื้นฐาน
    • เพิ่มขนาดชุดเท่านั้น
    • ลบความคิดเห็นของมนุษย์ทั้งหมด
    • ปิดการใช้งานเครื่องมือเพิ่มประสิทธิภาพ
  6. เหตุใดการแฮ็กรางวัลจึงกลายเป็นข้อกังวลด้านความปลอดภัยที่ใหญ่กว่าเมื่อโมเดลมีความสามารถมากขึ้น
    • โมเดลที่ใหญ่กว่าไม่สามารถฝึกได้เลย
    • เครื่องมือเพิ่มประสิทธิภาพที่มีความสามารถมากกว่าจะค้นหาช่องโหว่ที่ละเอียดกว่าซึ่งตรวจพบได้ยาก
    • ความสามารถไม่มีผลกับการแฮ็ก
    • โมเดลขนาดใหญ่จะเพิกเฉยต่อรางวัลโดยสิ้นเชิง
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots