Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra tối ưu hóa chính sách tương đối của nhóm

Áp dụng chuẩn hóa phần thưởng nhóm GRPO, loại bỏ lời phê bình và chính quy hóa chính sách tham chiếu, bao gồm cả ý nghĩa của các lợi thế tương đối trong một lời nhắc.

Đường dẫn hướng dẫn liên quanTối ưu hóa chính sách tương đối của nhóm
Câu hỏi 1 của 8

Which separately learned estimator does the original GRPO approach avoid training?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. GRPO tính toán lợi thế cho một lần hoàn thành nhất định như thế nào?
    • Bằng cách truy vấn phần đầu giá trị đã học ở mỗi mã thông báo
    • Bằng cách sử dụng phần thưởng thô mà không cần chuẩn hóa
    • Bằng cách so sánh nó với các lần hoàn thành từ một lời nhắc khác
    • Bằng cách tiêu chuẩn hóa phần thưởng của nó so với giá trị trung bình và độ lệch chuẩn của nhóm hoàn thành anh chị em của nó
  3. Những mô hình nào đã làm GRPO được nhiều người biết đến?
    • Các mô hình suy luận DeepSeekMath và DeepSeek-R1 của DeepSeek
    • Dòng GPT-2 của OpenAI
    • BERT gốc của Google
    • Mô hình cơ sở Llama 2 của Meta
  4. Thuật ngữ phân kỳ KL đóng vai trò gì trong GRPO?
    • Nó tạo ra nhóm hoàn thành
    • Nó thay thế mô hình phần thưởng
    • Nó giữ cho chính sách được đào tạo không bị trôi quá xa so với mô hình tham chiếu cố định
    • Nó tính toán ước tính giá trị mỗi mã thông báo
  5. Tại sao GRPO lại đặc biệt hấp dẫn đối với việc đào tạo các mô hình suy luận về toán hoặc mã?
    • Nó không yêu cầu tín hiệu khen thưởng nào cả
    • Nó chỉ hoạt động với nhãn ưu tiên của con người
    • Nó không thể sử dụng các mẫu hoàn thành
    • Nó hoạt động một cách tự nhiên với các phần thưởng dựa trên quy tắc, có thể kiểm chứng được (ví dụ: câu trả lời có khớp hoặc bài kiểm tra có vượt qua không) được tính điểm trên một nhóm giải pháp lấy mẫu
  6. Một thành kiến đã biết mà công việc tiếp theo (như Tiến sĩ GRPO) cố gắng khắc phục trong GRPO vanilla là gì?
    • Có xu hướng phớt lờ hoàn toàn phần thưởng
    • Thành kiến về độ dài và độ khó được đưa ra bởi cách chuẩn hóa phần thưởng
    • Không thể lấy mẫu nhiều lần hoàn thành
    • Yêu cầu đối với một mạng lưới phê bình khổng lồ
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks