การปรับแต่งการสุ่มตัวอย่างการปฏิเสธ

It matters because it offers much of RLHF's benefit using straightforward supervised learning instead of complex reinforcement learning.

การปรับแต่งแบบละเอียดของการสุ่มตัวอย่างการปฏิเสธ ซึ่งบางครั้งเรียกว่าการปรับแต่งแบบละเอียดแบบ Best-of-N เป็นองค์ประกอบสำคัญในการจัดวางโมเดลอย่าง Llama 2 และ Llama 3 ของ Meta สูตรนั้นง่ายมาก: สำหรับแต่ละพรอมต์ ให้สุ่มตัวอย่างคำตอบหลายรายการ (เช่น 4 ถึง 64) จากโมเดลปัจจุบัน ให้คะแนนแต่ละรายการด้วยโมเดลรางวัลหรือเครื่องตรวจสอบอัตโนมัติ จากนั้นทิ้ง ('ปฏิเสธ') ทั้งหมด ยกเว้นเอาต์พุตที่มีอันดับสูงสุด ตัวอย่างคุณภาพสูงที่ยังหลงเหลืออยู่จะกลายเป็นชุดข้อมูลที่ได้รับการปรับแต่งอย่างละเอียดใหม่ และแบบจำลองจะได้รับการฝึกกับตัวอย่างเหล่านั้นโดยสูญเสียโทเค็นถัดไปตามปกติ การทำซ้ำลูปนี้ซ้ำๆ จะเป็นการดันแบบจำลองไปสู่การสร้างคำตอบที่ดีขึ้นด้วยตัวมันเอง เนื่องจากโมเดลเรียนรู้จากเอาต์พุตที่ถูกกรองของตัวเอง RFT จึงหลีกเลี่ยงความไม่เสถียรและการปรับแก้อาการปวดหัวของ RL แบบไล่ระดับนโยบาย ในขณะที่ยังคงใช้ประโยชน์จากสัญญาณรางวัล