Tiếp theoHướng dẫn tiếp theo
Tối ưu hóa chính sách gần nhất
Ngôn ngữ AI
HƯỚNG DẪN KỸ THUẬT
Tối ưu hóa chính sách tương đối của nhóm
Tối ưu hóa chính sách tương đối nhóm (GRPO) là một phương pháp học tăng cường để tinh chỉnh các mô hình ngôn ngữ nhằm đánh giá từng câu trả lời dựa trên một nhóm các câu trả lời anh em cho cùng một lời nhắc, loại bỏ mạng giá trị riêng biệt được PPO sử dụng.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó trở nên nổi tiếng như là thủ thuật đào tạo cốt lõi đằng sau các mô hình suy luận của DeepSeek.
Lặn sâu
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Triển khai trong thế giới thực
Đào tạo DeepSeek-R1 và DeepSeekMath để tạo ra chuỗi suy nghĩ dài bằng cách sử dụng phần thưởng tính đúng đắn dựa trên quy tắc cho các bài toán
Tinh chỉnh các mô hình tạo mã trong đó mỗi giải pháp lấy mẫu được tính điểm bằng cách liệu nó có vượt qua các bài kiểm tra đơn vị hay không và nhóm được chuẩn hóa để chọn người chiến thắng
Các đường dẫn RLHF nguồn mở (ví dụ: trong thư viện TRL và verl) sử dụng GRPO để căn chỉnh các mô hình trò chuyện mà không phải trả tiền cho một mạng giá trị riêng
Cải thiện hành vi tuân theo hướng dẫn hoặc an toàn bằng cách lấy mẫu một số câu trả lời cho mỗi lời nhắc và khen thưởng cho những câu trả lời đó bằng mô hình phần thưởng có tỷ lệ cao nhất so với các bạn cùng lứa tuổi
Tương lai của việc tối ưu hóa chính sách tương đối của nhóm
GRPO đã nhanh chóng trở thành một công thức mặc định để đào tạo các mô hình lý luận mở và các phòng thí nghiệm đang khắc phục những điểm yếu của nó. Các nhà nghiên cứu đang tìm cách khắc phục các sai lệch về độ dài và độ khó (chẳng hạn như Dr. GRPO), chuẩn hóa cấp độ mã thông báo thay vì cấp độ trình tự và loại bỏ hoặc định hình lại thuật ngữ KL. Mong đợi sự tích hợp chặt chẽ hơn với các phần thưởng có thể xác minh được (toán học, mã, sử dụng công cụ), xử lý tốt hơn các tín hiệu thưa thớt và kết hợp kết hợp các đường cơ sở của nhóm với các chỉ trích nhẹ cho các nhiệm vụ nhiều bước, tác nhân.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Group Relative Policy Optimization quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Tối ưu hóa chính sách tương đối của nhóm là gì?
Tối ưu hóa chính sách tương đối nhóm (GRPO) là một phương pháp học tăng cường để tinh chỉnh các mô hình ngôn ngữ nhằm đánh giá từng câu trả lời dựa trên một nhóm các câu trả lời anh em cho cùng một lời nhắc, loại bỏ mạng giá trị riêng biệt được PPO sử dụng. Nó trở nên nổi tiếng như một thủ thuật đào tạo cốt lõi đằng sau các mô hình suy luận của DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
GRPO tính toán lợi thế cho một lần hoàn thành nhất định như thế nào?
Ưu điểm của mỗi lần hoàn thành là (phần thưởng - giá trị trung bình của nhóm) / độ lệch chuẩn của nhóm, do đó nhóm câu trả lời cho cùng một lời nhắc đóng vai trò là đường cơ sở.
Những mô hình nào đã làm GRPO được nhiều người biết đến?
GRPO được DeepSeek giới thiệu và phổ biến, đặc biệt là trong DeepSeekMath và là công cụ RL đằng sau các mô hình lý luận DeepSeek-R1.
Thuật ngữ phân kỳ KL đóng vai trò gì trong GRPO?
Hình phạt KL đối với mô hình tham chiếu (thường là trước RL) thường xuyên hóa việc đào tạo để chính sách được cải thiện mà không bị sụp đổ hoặc dẫn đến các đầu ra suy biến.
Tại sao GRPO lại đặc biệt hấp dẫn đối với việc đào tạo các mô hình suy luận về toán hoặc mã?
Lấy mẫu nhiều giải pháp và chấm điểm chúng bằng các biện pháp kiểm tra tính đúng đắn tự động hoàn toàn phù hợp với các lợi thế chuẩn hóa nhóm của GRPO mà không cần người phê bình.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này