ต่อไปคำแนะนำต่อไป
การทำให้เป็นมาตรฐานความยาวในการเพิ่มประสิทธิภาพการตั้งค่า
ความรู้พื้นฐาน
คู่มือพื้นฐาน
DPO แบบวนซ้ำจะจัดโมเดลภาษาให้ตรงกับความต้องการของมนุษย์หรือ AI ซ้ำๆ โดยสร้างการตอบสนองใหม่ๆ จัดอันดับ และปรับแต่งคู่ใหม่ในแต่ละรอบ
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It matters because static, one-shot preference data goes stale, while iterating keeps the training signal on-policy and the model improving.
Direct Preference Optimization (DPO) skips training a separate reward model: given preferred and rejected responses, it adjusts the policy with a classification-style loss derived from the RLHF objective. Vanilla DPO trains on a fixed dataset, which may become off-policy as the model changes. Iterative DPO closes the loop: the current policy samples responses, human raters or an AI judge compare them, and the next DPO update trains on these fresh pairs. Repeating rounds incurs additional sampling and labeling costs. If the model judges its own outputs, its judgments can also inherit its biases, so independent checks and held-out evaluation remain useful.
จัดเรียงผู้ช่วยแชทในหลายรอบ โดยแต่ละครั้งจะสุ่มตัวอย่างการตอบกลับใหม่และจัดอันดับใหม่เพื่อเพิ่มความช่วยเหลือ
การตั้งค่าการให้รางวัลตัวเองโดยที่โมเดลสร้างและตัดสินคู่การตอบสนองของตัวเองเพื่อบูตข้อมูลการตั้งค่าที่ดีขึ้น
การลดคำฟุ่มเฟือยของคำตอบโดยการเพิ่ม DPO ที่ควบคุมความยาวในการวนซ้ำในภายหลังเมื่อสร้างคุณภาพดิบแล้ว
การปรับโดเมน เช่น การปรับแต่งโมเดลการเขียนโค้ดซ้ำๆ บนคู่โซลูชันที่สร้างขึ้นใหม่ โดยตัดสินจากผลการทดสอบ
Preference tuning can become more continuous and automated, but each round depends on the judge’s reliability, data coverage, and evaluation that is not reused as training signal. Self-rewarding systems need checks for self-confirming errors, and online cycles need cost and quality measurement at every iteration.
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
DPO แบบวนซ้ำจะจัดโมเดลภาษาให้ตรงกับความต้องการของมนุษย์หรือ AI ซ้ำๆ โดยสร้างการตอบสนองใหม่ๆ จัดอันดับ และปรับแต่งคู่ใหม่ในแต่ละรอบ สิ่งสำคัญคือเนื่องจากข้อมูลการตั้งค่าแบบช็อตเดียวแบบคงที่จะไม่อัปเดต ในขณะที่การวนซ้ำจะรักษาสัญญาณการฝึกอบรมให้เป็นไปตามนโยบายและแบบจำลองจะปรับปรุง
DPO ปรับนโยบายให้เหมาะสมโดยตรงจากคู่การตั้งค่า โดยกำจัดรูปแบบรางวัลที่แยกจากกันและลูป RL ที่ RLHF ที่ใช้ PPO ใช้
การสร้างใหม่และติดป้ายกำกับคำตอบใหม่ในแต่ละรอบจะทำให้ข้อมูลสอดคล้องกับนโยบายปัจจุบัน ลดการเปลี่ยนแปลงการจัดจำหน่ายและการปรับเปลี่ยนมากเกินไปกับการเปรียบเทียบเก่า
อ.ส.ค. เปรียบเทียบความน่าจะเป็นของนโยบายและบันทึกอ้างอิง อัตราส่วนดังกล่าวทำหน้าที่เป็นรางวัลโดยนัยและจำกัดความคลาดเคลื่อนของนโยบาย
แต่ละลูปจะสร้างความสำเร็จครั้งใหม่จากโมเดลปัจจุบัน โดยมีผู้ตัดสินจัดอันดับ และใช้การอัปเดต DPO กับคู่ใหม่
เบต้าทำหน้าที่เหมือนอุณหภูมิของรางวัลโดยนัย โดยการแลกเปลี่ยนจะใกล้เคียงกับการอ้างอิงเทียบกับการตั้งค่าที่เหมาะสม
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การทำให้เป็นมาตรฐานความยาวในการเพิ่มประสิทธิภาพการตั้งค่า
ความรู้พื้นฐาน