แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการเพิ่มประสิทธิภาพนโยบายใกล้เคียง
ตรวจสอบการตัด PPO อัตราส่วนนโยบาย แหล่งที่มาของรางวัล บทลงโทษของ KL คำวิจารณ์ ข้อดี และขีดจำกัด RLHF ของโมเดลภาษา ตรวจสอบสมมติฐานและขอบเขต
คำถาม 1 ของ 8
'การตัด' ของ PPO แก้ไขปัญหาอะไรเป็นหลัก
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- 'การตัด' ของ PPO แก้ไขปัญหาอะไรเป็นหลัก
- การอัปเดตนโยบายขนาดใหญ่เกินไปซึ่งทำให้การฝึกอบรมไม่เสถียร
- โหลดข้อมูลช้า
- ขีดจำกัดขนาดคำศัพท์
- การใช้หน่วยความจำระหว่างการอนุมาน
- ในรูปแบบภาษา RLHF ที่มี PPO สัญญาณรางวัลมักจะมาจากไหน
- การให้คะแนนโดยตรงของมนุษย์ทุกโทเค็น
- รูปแบบรางวัลที่ได้รับการฝึกอบรม
- อัตราการเรียนรู้ของเครื่องมือเพิ่มประสิทธิภาพ
- ขนาดของคำศัพท์
- การลงโทษ KL-divergence ทำอะไรใน RLHF ที่ใช้ PPO
- เร่งความเร็วในการสร้างโทเค็น
- เพิ่มความแม่นยำของโมเดลรางวัล
- ป้องกันไม่ให้โมเดลที่ได้รับการปรับแต่งแบบละเอียดอยู่ห่างจากโมเดลอ้างอิงมากเกินไป
- ขจัดความจำเป็นสำหรับเครือข่ายที่มีคุณค่า
- บทบาทของเครือข่ายคุณค่า (นักวิจารณ์) ใน PPO คืออะไร?
- เพื่อสร้างผลลัพธ์ข้อความสุดท้าย
- เพื่อเก็บข้อมูลการฝึกอบรม
- เพื่อทดแทนโมเดลรางวัลโดยสิ้นเชิง
- เพื่อประมาณผลตอบแทนที่คาดหวังเพื่อนำมาคำนวณข้อดี
- 'ข้อได้เปรียบ' แสดงถึงอะไรใน PPO
- การดำเนินการดีกว่าเกณฑ์พื้นฐานที่คาดไว้มากเพียงใด
- จำนวนพารามิเตอร์ทั้งหมดของโมเดล
- ช่วงการตัด
- ค่าสัมประสิทธิ์การลงโทษของ KL
- What distinguishes GRPO from PPO in the DeepSeekMath paper?
- It removes all policy sampling and optimizes only supervised labels
- It estimates relative advantages from groups of sampled responses without a separate value critic
- It uses a trained reward model as a value network
- It guarantees zero policy drift after one update
- What probability ratio does PPO clip in its surrogate objective?
- The reward divided by the number of prompts
- The value estimate divided by the KL coefficient
- The new policy’s action probability divided by the old policy’s action probability
- The sequence length divided by batch size
- Why is PPO called an on-policy method in its standard form?
- It trains only on a static image dataset
- It never samples actions
- It updates only a reward model
- It collects trajectories using the current policy being optimized