แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
DPO ซ้ำและแบบทดสอบการปรับแต่งการตั้งค่าออนไลน์
เรียนรู้ว่า DPO แบบวนซ้ำรีเฟรชข้อมูลการตั้งค่า ใช้ตัวตัดสิน และแลกเปลี่ยนรอบการจัดตำแหน่งซ้ำกับต้นทุนและความโน้มเอียงที่เพิ่มขึ้น
คำถาม 1 ของ 8
DPO หลีกเลี่ยงสิ่งที่ RLHF (PPO) แบบดั้งเดิมต้องการอะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- DPO หลีกเลี่ยงสิ่งที่ RLHF (PPO) แบบดั้งเดิมต้องการอะไร
- การฝึกอบรมรูปแบบรางวัลที่ชัดเจนแยกต่างหาก
- ข้อมูลการฝึกอบรมใดๆ
- การใช้โครงข่ายประสาทเทียม
- ความชอบของมนุษย์โดยสิ้นเชิง
- เหตุใด DPO แบบวนซ้ำ (ออนไลน์) จึงดีกว่าการรัน DPO เพียงครั้งเดียวบนชุดข้อมูลคงที่
- ไม่จำเป็นต้องมีป้ายกำกับการตั้งค่า
- โดยจะเก็บข้อมูลการฝึกอบรมตามนโยบายและสดใหม่เมื่อโมเดลเปลี่ยนแปลง
- มันจะลบโมเดลอ้างอิงออก
- มันใช้งานได้กับรูปภาพเท่านั้น
- โมเดลอ้างอิงมีบทบาทอย่างไรต่อการสูญเสีย DPO
- มันสร้างผลลัพธ์สุดท้ายของผู้ใช้
- มันติดป้ายกำกับการตั้งค่า
- โดยจะยึดนโยบายผ่านอัตราส่วนความน่าจะเป็นของบันทึก และควบคุมค่าเบี่ยงเบน
- มันมาแทนที่โทเค็นไนเซอร์
- ในการทำซ้ำครั้งเดียวของ DPO ออนไลน์ ลำดับโดยทั่วไปคืออะไร
- ลบโมเดล จากนั้นฝึกใหม่ตั้งแต่ต้น
- ติดป้ายกำกับข้อมูลเก่าใหม่เท่านั้นโดยไม่มีการสุ่มตัวอย่าง
- ฝึกอบรม CNN เกี่ยวกับการตอบกลับ
- ตัวอย่างการตอบสนองใหม่ ตัดสินการตั้งค่า จากนั้นเรียกใช้การอัปเดต DPO
- ไฮเปอร์พารามิเตอร์เบต้าในการควบคุม DPO คืออะไร
- นโยบายเบี่ยงเบนไปจากแบบจำลองอ้างอิงมากเพียงใด
- ขนาดคำศัพท์
- จำนวน GPU
- ความละเอียดของภาพ
- แนวคิดหลักเบื้องหลัง DPO ซ้ำ 'การให้รางวัลตนเอง' คืออะไร
- โมเดลนี้ไม่ได้ใช้การตั้งค่าใดๆ เลย
- โมเดลจะสร้างและตัดสินคู่การตอบสนองของตัวเองเพื่อสร้างข้อมูลการฝึก
- มนุษย์ต้องติดฉลากทุกคู่
- มันใช้เพียงรางวัลแบบสุ่มเท่านั้น
- ใครสามารถติดป้ายกำกับการตั้งค่าการตอบสนองในการวนซ้ำ DPO แบบออนไลน์ได้
- โทเค็นไนเซอร์เท่านั้น
- เฉพาะเลเยอร์การฝังของนโยบายอ้างอิงเท่านั้น
- ผู้ประเมินโดยมนุษย์หรือผู้ตัดสิน AI เช่น โมเดลการให้รางวัล
- ผู้เลือกปฏิบัติที่ไม่เคยเห็นคำตอบ
- DPO แบบวนซ้ำต้องการอะไรเพิ่มเติมเมื่อเปรียบเทียบกับการใช้ชุดข้อมูลการตั้งค่าคงที่เพียงครั้งเดียว
- การฝึกอบรมไม่มีพารามิเตอร์โมเดล
- การลบการประเมินทั้งหมดออกจากไปป์ไลน์
- เก็บทุกคำตอบที่เป็นไปได้ไว้ล่วงหน้า
- การสร้างการตอบสนองซ้ำและการติดป้ายกำกับการตั้งค่าระหว่างการอัปเดต