คู่มือ AI ภาษา

การปรับแต่งการสุ่มตัวอย่างการปฏิเสธ

Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการปรับแต่งการสุ่มตัวอย่างแบบคัดแยก
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.

เจาะลึก

A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.

การใช้งานจริงในโลกแห่งความเป็นจริง

การจัดแนวโมเดลสไตล์ลามะด้วยการสุ่มตัวอย่างหลายคำตอบต่อข้อความ โดยรักษาคะแนนโมเดลรางวัลสูงสุด จากนั้นจึงเลือก SFT ในคำตอบเหล่านั้น

ปรับปรุงตัวแก้โจทย์คณิตโดยสร้างวิธีแก้ปัญหามากมายและรักษาเฉพาะคำตอบที่ถูกต้องและตรวจสอบได้เท่านั้น

การสร้างโค้ดที่ผู้สมัครจะถูกเก็บไว้เฉพาะในกรณีที่ผ่านการทดสอบหน่วย จากนั้นจึงใช้เป็นข้อมูลการฝึกอบรม

การสร้างชุดข้อมูลคำสั่งสังเคราะห์โดยการกรองการตอบสนองที่ดีที่สุดของโมเดลเองสำหรับรอบการฝึกอบรมถัดไป

อนาคตของการปรับแต่งการสุ่มตัวอย่างแบบคัดแยก

RFT เป็นศูนย์กลางของการฝึกหลังการฝึกอบรมสมัยใหม่ ซึ่งมักใช้ก่อนหรือควบคู่ไปกับวิธี RL เช่น PPO และ DPO ความน่าดึงดูดเพิ่มขึ้นด้วยการอนุมานราคาถูกและเครื่องตรวจสอบอัตโนมัติที่แข็งแกร่ง: เมื่อแบบจำลองสร้างและการตรวจสอบตัวเองได้ดีขึ้น การสุ่มตัวอย่างการปฏิเสธแบบวนซ้ำจะสนับสนุนข้อมูลสังเคราะห์และลูปการปรับปรุงตนเอง คาดหวังการบูรณาการที่เข้มงวดยิ่งขึ้นกับโมเดลการให้เหตุผลที่สร้างห่วงโซ่ความคิดที่ตรวจสอบได้ และการศึกษาอย่างต่อเนื่องเกี่ยวกับวิธีการหลีกเลี่ยงการแฮ็กรางวัลและความหลากหลายล่มสลายเมื่อฝึกฝนซ้ำแล้วซ้ำอีกเกี่ยวกับผลลัพธ์ของโมเดลเอง

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
  • เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ระวัง

  • ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
  • ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
  • ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

ขั้นตอนต่อไป

  1. กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
  2. การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
  3. รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
  4. ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Rejection Sampling Fine-Tuning quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Rejection Sampling Fine-Tuning?

Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.

Which loop best describes how Rejection Sampling Fine-Tuning improves a model?

RFT เก็บตัวอย่างคำตอบหลายรายการ กรองคำตอบที่ได้คะแนนสูงสุด และปรับแต่งแบบจำลองของผู้ชนะเหล่านั้น

ในโดเมนที่ตรวจสอบได้ เช่น คณิตศาสตร์หรือโค้ด อะไรจะทำหน้าที่เป็นรางวัลได้

สำหรับงานที่ตรวจสอบได้ RFT สามารถใช้ความถูกต้องแม่นยำหรือผ่านการทดสอบหน่วย โดยหลีกเลี่ยงโมเดลรางวัลที่เรียนรู้

Which model family does the cited paper describe using rejection sampling in its alignment pipeline?

The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.

Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?

RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.

การฝึกอบรมเกี่ยวกับตัวอย่างที่ให้ผลตอบแทนสูงสุดอย่างมีประสิทธิภาพช่วยอะไร?

ด้วยการเรียนรู้จากคำตอบที่ได้รับการกรองขั้นสูง โมเดลจะรวบรวมพฤติกรรมคุณภาพสูงขึ้นภายในเจเนอเรชั่นเดียว

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →