แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

DPO ซ้ำและแบบทดสอบการปรับแต่งการตั้งค่าออนไลน์

เรียนรู้ว่า DPO แบบวนซ้ำรีเฟรชข้อมูลการตั้งค่า ใช้ตัวตัดสิน และแลกเปลี่ยนรอบการจัดตำแหน่งซ้ำกับต้นทุนและความโน้มเอียงที่เพิ่มขึ้น

เส้นทางแนะนำที่เกี่ยวข้องDpo ซ้ำและการปรับแต่งการตั้งค่าออนไลน์
คำถาม 1 ของ 8

DPO หลีกเลี่ยงสิ่งที่ RLHF (PPO) แบบดั้งเดิมต้องการอะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. DPO หลีกเลี่ยงสิ่งที่ RLHF (PPO) แบบดั้งเดิมต้องการอะไร
    • การฝึกอบรมรูปแบบรางวัลที่ชัดเจนแยกต่างหาก
    • ข้อมูลการฝึกอบรมใดๆ
    • การใช้โครงข่ายประสาทเทียม
    • ความชอบของมนุษย์โดยสิ้นเชิง
  2. เหตุใด DPO แบบวนซ้ำ (ออนไลน์) จึงดีกว่าการรัน DPO เพียงครั้งเดียวบนชุดข้อมูลคงที่
    • ไม่จำเป็นต้องมีป้ายกำกับการตั้งค่า
    • โดยจะเก็บข้อมูลการฝึกอบรมตามนโยบายและสดใหม่เมื่อโมเดลเปลี่ยนแปลง
    • มันจะลบโมเดลอ้างอิงออก
    • มันใช้งานได้กับรูปภาพเท่านั้น
  3. โมเดลอ้างอิงมีบทบาทอย่างไรต่อการสูญเสีย DPO
    • มันสร้างผลลัพธ์สุดท้ายของผู้ใช้
    • มันติดป้ายกำกับการตั้งค่า
    • โดยจะยึดนโยบายผ่านอัตราส่วนความน่าจะเป็นของบันทึก และควบคุมค่าเบี่ยงเบน
    • มันมาแทนที่โทเค็นไนเซอร์
  4. ในการทำซ้ำครั้งเดียวของ DPO ออนไลน์ ลำดับโดยทั่วไปคืออะไร
    • ลบโมเดล จากนั้นฝึกใหม่ตั้งแต่ต้น
    • ติดป้ายกำกับข้อมูลเก่าใหม่เท่านั้นโดยไม่มีการสุ่มตัวอย่าง
    • ฝึกอบรม CNN เกี่ยวกับการตอบกลับ
    • ตัวอย่างการตอบสนองใหม่ ตัดสินการตั้งค่า จากนั้นเรียกใช้การอัปเดต DPO
  5. ไฮเปอร์พารามิเตอร์เบต้าในการควบคุม DPO คืออะไร
    • นโยบายเบี่ยงเบนไปจากแบบจำลองอ้างอิงมากเพียงใด
    • ขนาดคำศัพท์
    • จำนวน GPU
    • ความละเอียดของภาพ
  6. แนวคิดหลักเบื้องหลัง DPO ซ้ำ 'การให้รางวัลตนเอง' คืออะไร
    • โมเดลนี้ไม่ได้ใช้การตั้งค่าใดๆ เลย
    • โมเดลจะสร้างและตัดสินคู่การตอบสนองของตัวเองเพื่อสร้างข้อมูลการฝึก
    • มนุษย์ต้องติดฉลากทุกคู่
    • มันใช้เพียงรางวัลแบบสุ่มเท่านั้น
  7. ใครสามารถติดป้ายกำกับการตั้งค่าการตอบสนองในการวนซ้ำ DPO แบบออนไลน์ได้
    • โทเค็นไนเซอร์เท่านั้น
    • เฉพาะเลเยอร์การฝังของนโยบายอ้างอิงเท่านั้น
    • ผู้ประเมินโดยมนุษย์หรือผู้ตัดสิน AI เช่น โมเดลการให้รางวัล
    • ผู้เลือกปฏิบัติที่ไม่เคยเห็นคำตอบ
  8. DPO แบบวนซ้ำต้องการอะไรเพิ่มเติมเมื่อเปรียบเทียบกับการใช้ชุดข้อมูลการตั้งค่าคงที่เพียงครั้งเดียว
    • การฝึกอบรมไม่มีพารามิเตอร์โมเดล
    • การลบการประเมินทั้งหมดออกจากไปป์ไลน์
    • เก็บทุกคำตอบที่เป็นไปได้ไว้ล่วงหน้า
    • การสร้างการตอบสนองซ้ำและการติดป้ายกำกับการตั้งค่าระหว่างการอัปเดต