แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการเพิ่มประสิทธิภาพนโยบายเชิงสัมพันธ์กลุ่ม

ใช้การปรับรางวัลกลุ่ม GRPO ให้เป็นมาตรฐาน การลบคำวิจารณ์ออก และการปรับนโยบายการอ้างอิงให้เป็นมาตรฐาน รวมถึงความหมายของข้อดีที่เกี่ยวข้องภายในการแจ้งเตือนครั้งเดียว

คำถาม 1 ของ 8

Which separately learned estimator does the original GRPO approach avoid training?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. GRPO คำนวณข้อได้เปรียบสำหรับความสำเร็จที่กำหนดอย่างไร
    • โดยการสืบค้นส่วนหัวของค่าที่เรียนรู้ในแต่ละโทเค็น
    • โดยใช้รางวัลดิบโดยไม่มีการทำให้เป็นมาตรฐาน
    • โดยเปรียบเทียบกับความสำเร็จจากพรอมต์อื่น
    • โดยกำหนดมาตรฐานรางวัลเทียบกับค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของกลุ่มความสำเร็จระดับพี่น้อง
  3. รุ่นไหนที่ทำให้ GRPO เป็นที่รู้จัก?
    • โมเดลการให้เหตุผล DeepSeekMath และ DeepSeek-R1 ของ DeepSeek
    • ซีรีส์ GPT-2 ของ OpenAI
    • เบิร์ตต้นฉบับของ Google
    • โมเดลพื้นฐาน Llama 2 ของ Meta
  4. คำว่า KL-divergence มีบทบาทอย่างไรใน GRPO
    • มันสร้างกลุ่มของความสำเร็จ
    • มันมาแทนที่รูปแบบการให้รางวัล
    • ช่วยให้นโยบายที่ได้รับการฝึกอบรมไม่หลุดลอยไปไกลจากโมเดลอ้างอิงที่ค้างอยู่มากเกินไป
    • มันคำนวณการประมาณมูลค่าต่อโทเค็น
  5. เหตุใด GRPO จึงน่าสนใจเป็นพิเศษในการฝึกอบรมโมเดลการใช้เหตุผลทางคณิตศาสตร์หรือโค้ด
    • มันไม่จำเป็นต้องมีสัญญาณรางวัลเลย
    • ใช้งานได้กับป้ายกำกับการตั้งค่าของมนุษย์เท่านั้น
    • ไม่สามารถใช้การเติมตัวอย่างสำเร็จได้
    • มันทำงานได้อย่างเป็นธรรมชาติโดยมีรางวัลตามกฎที่ตรวจสอบได้ (เช่น คำตอบตรงกันหรือผ่านการทดสอบ) โดยให้คะแนนในกลุ่มโซลูชันตัวอย่าง
  6. อะไรคืออคติที่ทราบกันว่างานติดตามผล (เช่น ดร. GRPO) พยายามแก้ไขใน vanilla GRPO
    • มีแนวโน้มที่จะเพิกเฉยต่อรางวัลโดยสิ้นเชิง
    • อคติด้านความยาวและความยากลำบากเกิดจากการทำให้รางวัลเป็นมาตรฐาน
    • ไม่สามารถสุ่มตัวอย่างได้มากกว่าหนึ่งครั้ง
    • ข้อกำหนดสำหรับเครือข่ายนักวิจารณ์ขนาดมหึมา
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks