แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเพิ่มประสิทธิภาพการตั้งค่าโดยตรง

ตรวจสอบคู่การตั้งค่า DPO นโยบายอ้างอิง รางวัลโดยนัย เบต้า ตัวแปร และขีดจำกัดของการฝึกอบรมการตั้งค่าโดยตรง

เส้นทางแนะนำที่เกี่ยวข้องการเพิ่มประสิทธิภาพการตั้งค่าโดยตรง
คำถาม 1 ของ 8

DPO กำจัดอะไรได้บ้างเมื่อเปรียบเทียบกับ RLHF แบบดั้งเดิม

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. DPO กำจัดอะไรได้บ้างเมื่อเปรียบเทียบกับ RLHF แบบดั้งเดิม
    • โมเดลรางวัลที่แยกจากกันและลูปการเรียนรู้แบบเสริมกำลัง
    • ความต้องการข้อมูลการตั้งค่าของมนุษย์
    • แบบจำลองภาษาพื้นฐานที่ฝึกไว้ล่วงหน้า
    • การใช้บันทึกความน่าจะเป็น
  2. ตัวอย่างการฝึกอบรม DPO เดียวประกอบด้วยข้อมูลอะไรบ้าง
    • พร้อมท์และคะแนนรางวัลที่เป็นตัวเลข
    • พรอมต์พร้อมคำตอบที่เลือกและถูกปฏิเสธ
    • พรอมต์และคำตอบที่ถูกต้องเพียงคำตอบเดียว
    • เฉพาะผลลัพธ์ของโมเดลรางวัลเท่านั้น
  3. โมเดลอ้างอิงมีบทบาทอย่างไรใน อ.ส.ค.?
    • มันสร้างการตอบสนองที่ถูกปฏิเสธ
    • มันให้คะแนนการตอบกลับพร้อมรางวัลที่ชัดเจน
    • ซึ่งเป็นค่าพื้นฐานที่หยุดนิ่งซึ่งนโยบายจะถูกวัดเทียบกับเพื่อจำกัดการเบี่ยงเบน
    • มันแทนที่ข้อมูลการฝึกอบรม
  4. How does the DPO loss use a labeled preference pair?
    • It regresses both responses to the same scalar target
    • It trains a separate value critic to predict token-level returns
    • It maximizes the rejected response without a reference
    • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
  5. พารามิเตอร์เบต้า (อุณหภูมิ) ในการควบคุม DPO คืออะไร
    • นโยบายมีความใกล้เคียงกับแบบจำลองอ้างอิงมากน้อยเพียงใด
    • อัตราการเรียนรู้ของเครื่องมือเพิ่มประสิทธิภาพ
    • จำนวนคู่การตั้งค่า
    • ขนาดคำศัพท์
  6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
    • PPO, which requires a value critic for every label
    • KTO, a prospect-theoretic objective for binary desirability feedback
    • DARTS, which searches differentiable network cells
    • Beam search, which changes model weights from rankings
  7. In a standard DPO preference example, which response is preferred?
    • The response with more tokens by definition
    • The response with the lowest reference likelihood
    • The response selected by the preference labeler for the given prompt
    • A random response unrelated to the prompt
  8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
    • A separately trained scalar reward-model head
    • A human-written point score for each token
    • The average sequence length of preference data
    • Beta times the policy/reference log-probability ratio