คู่มือทางเทคนิค
การเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
เจาะลึก
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
การใช้งานจริงในโลกแห่งความเป็นจริง
ปรับแต่งผู้ช่วยแชทให้ปฏิเสธคำขอที่เป็นอันตรายและให้คำตอบที่เป็นประโยชน์และมีโครงสร้างที่ดี แทนที่จะเป็นเพียงข้อความที่น่าเชื่อถือ
จัดอันดับคู่บทสรุปตามความต้องการของมนุษย์เพื่อฝึกโมเดลที่เขียนสรุปที่ผู้คนพบว่ามีประโยชน์จริง ๆ
การลดผลลัพธ์ที่เป็นพิษหรืออคติโดยการให้รางวัลแก่การตอบสนองที่ผู้ประเมินที่เป็นมนุษย์ตัดสินด้วยความเคารพและปลอดภัย
การใช้ DPO บนชุดข้อมูลของคำตอบที่ต้องการเทียบกับคำตอบที่ถูกปฏิเสธเพื่อจัดตำแหน่งโมเดลโอเพ่นซอร์สโดยไม่ต้องรัน PPO แบบเต็ม
อนาคตของการเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์
RLHF กำลังได้รับการปรับปรุงและเป็นอัตโนมัติบางส่วน DPO และวิธีการกำหนดลักษณะโดยตรงที่เกี่ยวข้องกำลังเข้ามาแทนที่ไปป์ไลน์ PPO จำนวนมากสำหรับหลายๆ ทีม และ RLAIF ใช้คำติชมที่สร้างโดย AI (เช่นเดียวกับใน Constitutional AI) เพื่อลดต้นทุนการติดฉลาก การวิจัยกำลังจัดการกับการแฮ็กรางวัล อคติของผู้อธิบาย และความยากลำบากในการตัดสินคำตอบที่ยาวนานหรือโดยผู้เชี่ยวชาญ ด้วยเทคนิคต่างๆ เช่น การควบคุมดูแลกระบวนการและการอภิปราย คาดหวังถึงความสอดคล้องที่จะผสมผสานข้อเสนอแนะของมนุษย์และ AI สัญญาณรางวัลที่สมบูรณ์ยิ่งขึ้นนอกเหนือจากการยกนิ้วโป้งเพียงครั้งเดียว และการตรวจสอบอย่างละเอียดมากขึ้นว่าใครเป็นผู้ให้การตั้งค่าและคุณค่าที่พวกเขาเข้ารหัส
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Reinforcement Learning From Human Feedback quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Reinforcement Learning From Human Feedback?
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
จุดประสงค์หลักของ RLHF สำหรับโมเดลภาษาคืออะไร?
RLHF กำหนดรูปแบบการตอบสนองที่มนุษย์ต้องการ ทำให้เป็นประโยชน์ ซื่อสัตย์ และปลอดภัยมากกว่าที่จะเป็นไปได้
โมเดลการให้รางวัลใน RLHF เรียนรู้ที่ต้องทำจริง ๆ อย่างไร
โมเดลการให้รางวัลได้รับการฝึกอบรมเกี่ยวกับการเปรียบเทียบความชอบของมนุษย์เพื่อให้คะแนนการตอบกลับ โดยให้สัญญาณที่นโยบายปรับให้เหมาะสม
What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
โดยทั่วไปแล้วข้อมูลการตั้งค่าสำหรับโมเดลรางวัลจะถูกรวบรวมอย่างไร
ผู้อธิบายประกอบจะเลือกคำตอบที่ต้องการในการเปรียบเทียบแบบคู่ ซึ่งจะฝึกรูปแบบการให้รางวัลผ่านการแพ้แบบแบรดลีย์-เทอร์รี่
DPO (Direct Preference Optimization) มีข้อได้เปรียบเหนือไปป์ไลน์ RLHF แบบคลาสสิกอย่างไร
อ.ส.ค. ได้รับวัตถุประสงค์โดยตรงจากความชอบ โดยหลีกเลี่ยงรูปแบบการให้รางวัลที่แยกจากกันและขั้นตอนการเรียนรู้การเสริมกำลังที่ยุ่งยาก
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้