แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการเพิ่มประสิทธิภาพนโยบายเชิงสัมพันธ์กลุ่ม
ใช้การปรับรางวัลกลุ่ม GRPO ให้เป็นมาตรฐาน การลบคำวิจารณ์ออก และการปรับนโยบายการอ้างอิงให้เป็นมาตรฐาน รวมถึงความหมายของข้อดีที่เกี่ยวข้องภายในการแจ้งเตือนครั้งเดียว
คำถาม 1 ของ 8
Which separately learned estimator does the original GRPO approach avoid training?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Which separately learned estimator does the original GRPO approach avoid training?
- The policy that generates completions
- A value or critic model
- Every possible reward function
- The reference policy’s vocabulary
- GRPO คำนวณข้อได้เปรียบสำหรับความสำเร็จที่กำหนดอย่างไร
- โดยการสืบค้นส่วนหัวของค่าที่เรียนรู้ในแต่ละโทเค็น
- โดยใช้รางวัลดิบโดยไม่มีการทำให้เป็นมาตรฐาน
- โดยเปรียบเทียบกับความสำเร็จจากพรอมต์อื่น
- โดยกำหนดมาตรฐานรางวัลเทียบกับค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของกลุ่มความสำเร็จระดับพี่น้อง
- รุ่นไหนที่ทำให้ GRPO เป็นที่รู้จัก?
- โมเดลการให้เหตุผล DeepSeekMath และ DeepSeek-R1 ของ DeepSeek
- ซีรีส์ GPT-2 ของ OpenAI
- เบิร์ตต้นฉบับของ Google
- โมเดลพื้นฐาน Llama 2 ของ Meta
- คำว่า KL-divergence มีบทบาทอย่างไรใน GRPO
- มันสร้างกลุ่มของความสำเร็จ
- มันมาแทนที่รูปแบบการให้รางวัล
- ช่วยให้นโยบายที่ได้รับการฝึกอบรมไม่หลุดลอยไปไกลจากโมเดลอ้างอิงที่ค้างอยู่มากเกินไป
- มันคำนวณการประมาณมูลค่าต่อโทเค็น
- เหตุใด GRPO จึงน่าสนใจเป็นพิเศษในการฝึกอบรมโมเดลการใช้เหตุผลทางคณิตศาสตร์หรือโค้ด
- มันไม่จำเป็นต้องมีสัญญาณรางวัลเลย
- ใช้งานได้กับป้ายกำกับการตั้งค่าของมนุษย์เท่านั้น
- ไม่สามารถใช้การเติมตัวอย่างสำเร็จได้
- มันทำงานได้อย่างเป็นธรรมชาติโดยมีรางวัลตามกฎที่ตรวจสอบได้ (เช่น คำตอบตรงกันหรือผ่านการทดสอบ) โดยให้คะแนนในกลุ่มโซลูชันตัวอย่าง
- อะไรคืออคติที่ทราบกันว่างานติดตามผล (เช่น ดร. GRPO) พยายามแก้ไขใน vanilla GRPO
- มีแนวโน้มที่จะเพิกเฉยต่อรางวัลโดยสิ้นเชิง
- อคติด้านความยาวและความยากลำบากเกิดจากการทำให้รางวัลเป็นมาตรฐาน
- ไม่สามารถสุ่มตัวอย่างได้มากกว่าหนึ่งครั้ง
- ข้อกำหนดสำหรับเครือข่ายนักวิจารณ์ขนาดมหึมา
- Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
- The completion rewarded 2
- The completion rewarded 6
- The completion rewarded 4
- All completions because rewards differ
- Why compare GRPO reward statistics among completions of the same prompt?
- They provide a relative baseline for alternative answers to that prompt
- They require unrelated prompts to have equal difficulty
- They replace checking whether an answer is correct
- They make the highest reward identical across all tasks