แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการปรับแต่งการสุ่มตัวอย่างการปฏิเสธ
ครอบคลุมการสร้างและการกรองผู้สมัคร รางวัลตามผู้ตรวจสอบ การฝึกอบรมขึ้นใหม่ภายใต้การดูแล และความเสี่ยงจากการปรับผู้ให้คะแนนที่มีข้อบกพร่อง
คำถาม 1 ของ 8
Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
- สร้างคำตอบของผู้สมัครจำนวนมาก เก็บคำตอบที่ได้คะแนนสูงที่สุด และฝึกใหม่อีกครั้ง
- ลบเลเยอร์โมเดลที่มีประสิทธิภาพแย่ที่สุด
- ปฏิเสธข้อมูลการฝึกทั้งหมดแล้วเริ่มต้นใหม่
- ตัวอย่างครั้งเดียวและยอมรับผลลัพธ์เสมอ
- ในโดเมนที่ตรวจสอบได้ เช่น คณิตศาสตร์หรือโค้ด อะไรจะทำหน้าที่เป็นรางวัลได้
- โมเดลรางวัลการเรียนรู้เท่านั้น
- ไม่ว่าคำตอบจะถูกหรือผ่านการทดสอบ
- ความยาวของการตอบสนอง
- จำนวนโทเค็นที่สร้างขึ้น
- Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
- GPT-4o
- BERT Base
- Meta’s Llama 2-Chat
- Whisper Large
- Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
- It never needs a candidate generator or scoring rule
- It guarantees no reward hacking
- It always requires less compute than every RL method
- It can use supervised learning on selected generations instead of updating through policy-gradient RL
- การฝึกอบรมเกี่ยวกับตัวอย่างที่ให้ผลตอบแทนสูงสุดอย่างมีประสิทธิภาพช่วยอะไร?
- กลั่นคุณภาพที่ดีที่สุดของ N ลงในเอาต์พุตตัวอย่างเดียวของโมเดล
- ช่วยเพิ่มขนาดคำศัพท์
- ลบความสามารถของโมเดลในการสร้างข้อความ
- เพิ่มจำนวนพารามิเตอร์เป็นสองเท่า
- What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
- เฉพาะจำนวนพารามิเตอร์รุ่นเท่านั้น
- Output diversity alongside held-out correctness
- Whether every answer uses the same wording
- Only the training loss on selected samples
- What is a limitation of rejection-sampling fine-tuning’s candidate selection?
- It can only be used with image labels
- It always changes the tokenizer
- It cannot train on a high-quality answer that was never generated or retained
- It makes the scoring function unnecessary
- What risk arises if the scoring model used to filter candidates is flawed?
- The policy becomes unable to generate any text
- The tokenizer automatically changes vocabulary
- The reference labels become unnecessary
- The policy may learn to exploit the scorer rather than improve the intended quality