แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเพิ่มประสิทธิภาพนโยบายใกล้เคียง

ตรวจสอบการตัด PPO อัตราส่วนนโยบาย แหล่งที่มาของรางวัล บทลงโทษของ KL คำวิจารณ์ ข้อดี และขีดจำกัด RLHF ของโมเดลภาษา ตรวจสอบสมมติฐานและขอบเขต

เส้นทางแนะนำที่เกี่ยวข้องการเพิ่มประสิทธิภาพนโยบายที่ใกล้เคียง
คำถาม 1 ของ 8

'การตัด' ของ PPO แก้ไขปัญหาอะไรเป็นหลัก

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. 'การตัด' ของ PPO แก้ไขปัญหาอะไรเป็นหลัก
    • การอัปเดตนโยบายขนาดใหญ่เกินไปซึ่งทำให้การฝึกอบรมไม่เสถียร
    • โหลดข้อมูลช้า
    • ขีดจำกัดขนาดคำศัพท์
    • การใช้หน่วยความจำระหว่างการอนุมาน
  2. ในรูปแบบภาษา RLHF ที่มี PPO สัญญาณรางวัลมักจะมาจากไหน
    • การให้คะแนนโดยตรงของมนุษย์ทุกโทเค็น
    • รูปแบบรางวัลที่ได้รับการฝึกอบรม
    • อัตราการเรียนรู้ของเครื่องมือเพิ่มประสิทธิภาพ
    • ขนาดของคำศัพท์
  3. การลงโทษ KL-divergence ทำอะไรใน RLHF ที่ใช้ PPO
    • เร่งความเร็วในการสร้างโทเค็น
    • เพิ่มความแม่นยำของโมเดลรางวัล
    • ป้องกันไม่ให้โมเดลที่ได้รับการปรับแต่งแบบละเอียดอยู่ห่างจากโมเดลอ้างอิงมากเกินไป
    • ขจัดความจำเป็นสำหรับเครือข่ายที่มีคุณค่า
  4. บทบาทของเครือข่ายคุณค่า (นักวิจารณ์) ใน PPO คืออะไร?
    • เพื่อสร้างผลลัพธ์ข้อความสุดท้าย
    • เพื่อเก็บข้อมูลการฝึกอบรม
    • เพื่อทดแทนโมเดลรางวัลโดยสิ้นเชิง
    • เพื่อประมาณผลตอบแทนที่คาดหวังเพื่อนำมาคำนวณข้อดี
  5. 'ข้อได้เปรียบ' แสดงถึงอะไรใน PPO
    • การดำเนินการดีกว่าเกณฑ์พื้นฐานที่คาดไว้มากเพียงใด
    • จำนวนพารามิเตอร์ทั้งหมดของโมเดล
    • ช่วงการตัด
    • ค่าสัมประสิทธิ์การลงโทษของ KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized