Tiếp theoHướng dẫn tiếp theo
Chuẩn hóa độ dài trong Tối ưu hóa tùy chọn
Nguyên tắc cơ bản
HƯỚNG DẪN cơ bản
Chuẩn hóa phần thưởng được nhóm trong RLHF
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
Lặn sâu
DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.
Triển khai trong thế giới thực
Comparing several candidate math solutions from one prompt using a verifier score
Using code-test results to rank responses generated for the same coding prompt
Inspecting how a reward model’s scores vary within one prompt group
Reducing memory use in a PPO-style language-model update by omitting a separate value network
Tương lai của việc bình thường hóa phần thưởng theo nhóm trong RLHF
Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
- Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
- Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
coi chừng
- Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
- Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
- Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Các bước tiếp theo
- Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
- Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
- Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
- Tài liệu giúp Bình thường hóa phần thưởng theo nhóm trong RLHF và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Grouped Reward Normalization in RLHF quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Bình thường hóa phần thưởng nhóm trong RLHF là gì?
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
Trong quá trình chuẩn hóa phần thưởng theo nhóm, phần thưởng của mỗi phản hồi được so sánh với bao nhiêu?
Mỗi phần thưởng được chuyển đổi thành điểm z bằng cách sử dụng giá trị trung bình và độ lệch chuẩn của nhóm phản hồi cho cùng một lời nhắc.
Thuật toán nào có liên quan nhiều nhất đến việc chuẩn hóa phần thưởng được nhóm?
GRPO, được DeepSeek giới thiệu và sử dụng trong DeepSeek-R1, được xây dựng dựa trên việc bình thường hóa phần thưởng trong một nhóm.
GRPO loại bỏ thành phần nào của PPO tiêu chuẩn?
Bằng cách sử dụng mức trung bình của nhóm làm đường cơ sở, GRPO loại bỏ nhà phê bình đã học, tiết kiệm bộ nhớ và tính toán.
Điều gì xảy ra với một câu trả lời có phần thưởng thấp hơn mức trung bình của nhóm?
Việc trừ đi giá trị trung bình của nhóm sẽ làm cho những phản hồi dưới mức trung bình có lợi thế tiêu cực, đẩy chính sách ra xa chúng.
What does within-prompt reward normalization provide to a GRPO update?
Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này