แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการปรับแต่งการสุ่มตัวอย่างการปฏิเสธ

ครอบคลุมการสร้างและการกรองผู้สมัคร รางวัลตามผู้ตรวจสอบ การฝึกอบรมขึ้นใหม่ภายใต้การดูแล และความเสี่ยงจากการปรับผู้ให้คะแนนที่มีข้อบกพร่อง

คำถาม 1 ของ 8

Which loop best describes how Rejection Sampling Fine-Tuning improves a model?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
    • สร้างคำตอบของผู้สมัครจำนวนมาก เก็บคำตอบที่ได้คะแนนสูงที่สุด และฝึกใหม่อีกครั้ง
    • ลบเลเยอร์โมเดลที่มีประสิทธิภาพแย่ที่สุด
    • ปฏิเสธข้อมูลการฝึกทั้งหมดแล้วเริ่มต้นใหม่
    • ตัวอย่างครั้งเดียวและยอมรับผลลัพธ์เสมอ
  2. ในโดเมนที่ตรวจสอบได้ เช่น คณิตศาสตร์หรือโค้ด อะไรจะทำหน้าที่เป็นรางวัลได้
    • โมเดลรางวัลการเรียนรู้เท่านั้น
    • ไม่ว่าคำตอบจะถูกหรือผ่านการทดสอบ
    • ความยาวของการตอบสนอง
    • จำนวนโทเค็นที่สร้างขึ้น
  3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
    • GPT-4o
    • BERT Base
    • Meta’s Llama 2-Chat
    • Whisper Large
  4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
    • It never needs a candidate generator or scoring rule
    • It guarantees no reward hacking
    • It always requires less compute than every RL method
    • It can use supervised learning on selected generations instead of updating through policy-gradient RL
  5. การฝึกอบรมเกี่ยวกับตัวอย่างที่ให้ผลตอบแทนสูงสุดอย่างมีประสิทธิภาพช่วยอะไร?
    • กลั่นคุณภาพที่ดีที่สุดของ N ลงในเอาต์พุตตัวอย่างเดียวของโมเดล
    • ช่วยเพิ่มขนาดคำศัพท์
    • ลบความสามารถของโมเดลในการสร้างข้อความ
    • เพิ่มจำนวนพารามิเตอร์เป็นสองเท่า
  6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
    • เฉพาะจำนวนพารามิเตอร์รุ่นเท่านั้น
    • Output diversity alongside held-out correctness
    • Whether every answer uses the same wording
    • Only the training loss on selected samples
  7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
    • It can only be used with image labels
    • It always changes the tokenizer
    • It cannot train on a high-quality answer that was never generated or retained
    • It makes the scoring function unnecessary
  8. What risk arises if the scoring model used to filter candidates is flawed?
    • The policy becomes unable to generate any text
    • The tokenizer automatically changes vocabulary
    • The reference labels become unnecessary
    • The policy may learn to exploit the scorer rather than improve the intended quality