แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการสร้างแบบจำลองรางวัล

ทดสอบคะแนนโมเดลรางวัล ข้อมูลการตั้งค่า การสูญเสียอันดับแบบคู่ การแฮ็กรางวัล และการใช้ N ที่ดีที่สุดใน RLHF ตรวจสอบสมมติฐานและขอบเขต

เส้นทางแนะนำที่เกี่ยวข้องการสร้างแบบจำลองรางวัล
คำถาม 1 ของ 8

ผลลัพธ์หลักของโมเดลการให้รางวัลสำหรับคู่ที่มีการตอบกลับพร้อมท์ที่กำหนดคืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ผลลัพธ์หลักของโมเดลการให้รางวัลสำหรับคู่ที่มีการตอบกลับพร้อมท์ที่กำหนดคืออะไร
    • คะแนนสเกลาร์เดียว
    • ข้อความตอบกลับแบบเต็ม
    • การกระจายความน่าจะเป็นเหนือคำศัพท์
    • รายการโทเค็นที่ต้องการ
  2. What feedback format did the InstructGPT paper collect to train its reward model?
    • A guaranteed correctness label for every possible answer
    • Human rankings of several model responses, converted into pairwise preferences
    • A single sentiment score for each training prompt
    • Only binary safety labels with no response comparisons
  3. การสูญเสียแบบจำลองรางวัลมาตรฐานปรับให้เหมาะสมอย่างไร
    • มูลค่ารางวัลที่แน่นอนของทุกการตอบกลับ
    • ความแม่นยำในการทำนายโทเค็นถัดไป
    • ว่าคำตอบที่เลือกมีคะแนนสูงกว่าคำตอบที่ถูกปฏิเสธ
    • ความยาวของคำตอบ
  4. 'การแฮ็กรางวัล' คืออะไร?
    • ขโมยโมเดลรางวัลของคู่แข่ง
    • วิธีการเร่งรัดการฝึก
    • การเข้ารหัสสัญญาณรางวัล
    • นโยบายใช้ประโยชน์จากข้อบกพร่องในรูปแบบการให้รางวัลเพื่อให้ได้คะแนนสูงโดยไม่มีคุณภาพที่แท้จริง
  5. โมเดลรางวัลได้รับมาจากสถาปัตยกรรมจากโมเดลภาษาอย่างไร
    • โดยการแทนที่ส่วนหัวการทำนายโทเค็นด้วยหัวเอาต์พุตสเกลาร์เดียว
    • โดยการเพิ่มชั้นความสนใจมากขึ้น
    • โดยถอดชั้นหม้อแปลงทั้งหมดออก
    • โดยการเพิ่มคำศัพท์เป็นสองเท่า
  6. How is a reward model used at inference time in best-of-N sampling?
    • การฝึกอบรมโมเดลการให้รางวัล N แบบคู่ขนาน
    • สร้างคำตอบหลายรายการและใช้รูปแบบการให้รางวัลเพื่อเลือกคำตอบที่ได้คะแนนสูงสุด
    • การเลือกโทเค็นที่พบบ่อยที่สุด N
    • จุดตรวจโมเดล N โดยเฉลี่ย
  7. Why might an RLHF study use an ensemble of reward models during training?
    • To guarantee that reward hacking is impossible
    • To replace the human preference data with exact correctness labels
    • To estimate disagreement or uncertainty across learned preference scorers
    • To ensure every candidate receives the same score
  8. Why should reward-model evaluations include held-out comparisons?
    • To ensure training comparisons are never used
    • To make every output identical
    • To guarantee the reward is unbiased
    • To test whether preferences generalize beyond the training comparisons