แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการเพิ่มประสิทธิภาพการตั้งค่าโดยตรง
ตรวจสอบคู่การตั้งค่า DPO นโยบายอ้างอิง รางวัลโดยนัย เบต้า ตัวแปร และขีดจำกัดของการฝึกอบรมการตั้งค่าโดยตรง
คำถาม 1 ของ 8
DPO กำจัดอะไรได้บ้างเมื่อเปรียบเทียบกับ RLHF แบบดั้งเดิม
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- DPO กำจัดอะไรได้บ้างเมื่อเปรียบเทียบกับ RLHF แบบดั้งเดิม
- โมเดลรางวัลที่แยกจากกันและลูปการเรียนรู้แบบเสริมกำลัง
- ความต้องการข้อมูลการตั้งค่าของมนุษย์
- แบบจำลองภาษาพื้นฐานที่ฝึกไว้ล่วงหน้า
- การใช้บันทึกความน่าจะเป็น
- ตัวอย่างการฝึกอบรม DPO เดียวประกอบด้วยข้อมูลอะไรบ้าง
- พร้อมท์และคะแนนรางวัลที่เป็นตัวเลข
- พรอมต์พร้อมคำตอบที่เลือกและถูกปฏิเสธ
- พรอมต์และคำตอบที่ถูกต้องเพียงคำตอบเดียว
- เฉพาะผลลัพธ์ของโมเดลรางวัลเท่านั้น
- โมเดลอ้างอิงมีบทบาทอย่างไรใน อ.ส.ค.?
- มันสร้างการตอบสนองที่ถูกปฏิเสธ
- มันให้คะแนนการตอบกลับพร้อมรางวัลที่ชัดเจน
- ซึ่งเป็นค่าพื้นฐานที่หยุดนิ่งซึ่งนโยบายจะถูกวัดเทียบกับเพื่อจำกัดการเบี่ยงเบน
- มันแทนที่ข้อมูลการฝึกอบรม
- How does the DPO loss use a labeled preference pair?
- It regresses both responses to the same scalar target
- It trains a separate value critic to predict token-level returns
- It maximizes the rejected response without a reference
- It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
- พารามิเตอร์เบต้า (อุณหภูมิ) ในการควบคุม DPO คืออะไร
- นโยบายมีความใกล้เคียงกับแบบจำลองอ้างอิงมากน้อยเพียงใด
- อัตราการเรียนรู้ของเครื่องมือเพิ่มประสิทธิภาพ
- จำนวนคู่การตั้งค่า
- ขนาดคำศัพท์
- Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
- PPO, which requires a value critic for every label
- KTO, a prospect-theoretic objective for binary desirability feedback
- DARTS, which searches differentiable network cells
- Beam search, which changes model weights from rankings
- In a standard DPO preference example, which response is preferred?
- The response with more tokens by definition
- The response with the lowest reference likelihood
- The response selected by the preference labeler for the given prompt
- A random response unrelated to the prompt
- In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
- A separately trained scalar reward-model head
- A human-written point score for each token
- The average sequence length of preference data
- Beta times the policy/reference log-probability ratio