แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการสร้างแบบจำลองรางวัล
ทดสอบคะแนนโมเดลรางวัล ข้อมูลการตั้งค่า การสูญเสียอันดับแบบคู่ การแฮ็กรางวัล และการใช้ N ที่ดีที่สุดใน RLHF ตรวจสอบสมมติฐานและขอบเขต
คำถาม 1 ของ 8
ผลลัพธ์หลักของโมเดลการให้รางวัลสำหรับคู่ที่มีการตอบกลับพร้อมท์ที่กำหนดคืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ผลลัพธ์หลักของโมเดลการให้รางวัลสำหรับคู่ที่มีการตอบกลับพร้อมท์ที่กำหนดคืออะไร
- คะแนนสเกลาร์เดียว
- ข้อความตอบกลับแบบเต็ม
- การกระจายความน่าจะเป็นเหนือคำศัพท์
- รายการโทเค็นที่ต้องการ
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- การสูญเสียแบบจำลองรางวัลมาตรฐานปรับให้เหมาะสมอย่างไร
- มูลค่ารางวัลที่แน่นอนของทุกการตอบกลับ
- ความแม่นยำในการทำนายโทเค็นถัดไป
- ว่าคำตอบที่เลือกมีคะแนนสูงกว่าคำตอบที่ถูกปฏิเสธ
- ความยาวของคำตอบ
- 'การแฮ็กรางวัล' คืออะไร?
- ขโมยโมเดลรางวัลของคู่แข่ง
- วิธีการเร่งรัดการฝึก
- การเข้ารหัสสัญญาณรางวัล
- นโยบายใช้ประโยชน์จากข้อบกพร่องในรูปแบบการให้รางวัลเพื่อให้ได้คะแนนสูงโดยไม่มีคุณภาพที่แท้จริง
- โมเดลรางวัลได้รับมาจากสถาปัตยกรรมจากโมเดลภาษาอย่างไร
- โดยการแทนที่ส่วนหัวการทำนายโทเค็นด้วยหัวเอาต์พุตสเกลาร์เดียว
- โดยการเพิ่มชั้นความสนใจมากขึ้น
- โดยถอดชั้นหม้อแปลงทั้งหมดออก
- โดยการเพิ่มคำศัพท์เป็นสองเท่า
- How is a reward model used at inference time in best-of-N sampling?
- การฝึกอบรมโมเดลการให้รางวัล N แบบคู่ขนาน
- สร้างคำตอบหลายรายการและใช้รูปแบบการให้รางวัลเพื่อเลือกคำตอบที่ได้คะแนนสูงสุด
- การเลือกโทเค็นที่พบบ่อยที่สุด N
- จุดตรวจโมเดล N โดยเฉลี่ย
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons