Tối ưu hóa chính sách tương đối của nhóm
Tối ưu hóa chính sách tương đối nhóm (GRPO) là một phương pháp học tăng cường để tinh chỉnh các mô hình ngôn ngữ nhằm đánh giá từng câu trả lời dựa trên một nhóm các câu trả lời anh em cho cùng một lời nhắc, loại bỏ mạng giá trị riêng biệt được PPO sử dụng.
Tổng quan
Nó trở nên nổi tiếng như là thủ thuật đào tạo cốt lõi đằng sau các mô hình suy luận của DeepSeek.
Lặn sâu
GRPO là một biến thể của phương pháp học tăng cường theo độ dốc chính sách được thiết kế để giúp việc tinh chỉnh RL của các mô hình ngôn ngữ lớn rẻ hơn và ổn định hơn. PPO tiêu chuẩn cần một 'nhà phê bình' (mô hình giá trị) đã học được, lớn gần bằng chính chính sách đó, để ước tính mức độ tốt của mỗi mã thông báo. GRPO loại bỏ hoàn toàn lời chỉ trích đó. Đối với mỗi lời nhắc, nó lấy mẫu một nhóm lần hoàn thành (ví dụ 8-64), chấm điểm tất cả bằng tín hiệu khen thưởng, sau đó tính toán lợi thế của mỗi lần hoàn thành bằng cách tiêu chuẩn hóa phần thưởng của nó so với giá trị trung bình và độ lệch chuẩn của nhóm. Những câu trả lời trên trung bình được củng cố và những câu trả lời dưới trung bình bị loại bỏ. Thuật ngữ phân kỳ KL giữ cho mô hình gần với chính sách tham chiếu. Được giới thiệu bởi DeepSeek, nó hỗ trợ các mô hình suy luận DeepSeekMath và DeepSeek-R1.
Hiểu biết kỹ thuật
Ý tưởng chính là thay thế đường cơ sở giá trị đã học được của PPO bằng đường cơ sở của nhóm Monte Carlo. Đối với nhóm đầu ra có phần thưởng r_i, mỗi lợi thế là A_i = (r_i - Mean(r)) / std(r). Điểm chuẩn hóa đó nhân với tỷ lệ xác suất bị cắt bớt, chính xác như trong PPO và hình phạt KL đối với mô hình tham chiếu bị đóng băng sẽ hạn chế sự trôi dạt. Bởi vì không có nhà phê bình nào được đào tạo nên bộ nhớ và khả năng tính toán gần như giảm một nửa và việc chuẩn hóa theo dấu nhắc mang lại lợi thế về quy mô tự nhiên, độ sai lệch thấp.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của việc tối ưu hóa chính sách tương đối của nhóm
GRPO đã nhanh chóng trở thành một công thức mặc định để đào tạo các mô hình lý luận mở và các phòng thí nghiệm đang khắc phục những điểm yếu của nó. Các nhà nghiên cứu đang tìm cách khắc phục các sai lệch về độ dài và độ khó (chẳng hạn như Dr. GRPO), chuẩn hóa cấp độ mã thông báo thay vì cấp độ trình tự và loại bỏ hoặc định hình lại thuật ngữ KL. Mong đợi sự tích hợp chặt chẽ hơn với các phần thưởng có thể xác minh được (toán học, mã, sử dụng công cụ), xử lý tốt hơn các tín hiệu thưa thớt và kết hợp kết hợp các đường cơ sở của nhóm với các chỉ trích nhẹ cho các nhiệm vụ nhiều bước, tác nhân.
Triển khai trong thế giới thực
Đào tạo DeepSeek-R1 và DeepSeekMath để tạo ra chuỗi suy nghĩ dài bằng cách sử dụng phần thưởng tính đúng đắn dựa trên quy tắc cho các bài toán
Tinh chỉnh các mô hình tạo mã trong đó mỗi giải pháp lấy mẫu được tính điểm bằng cách liệu nó có vượt qua các bài kiểm tra đơn vị hay không và nhóm được chuẩn hóa để chọn người chiến thắng
Các đường dẫn RLHF nguồn mở (ví dụ: trong thư viện TRL và verl) sử dụng GRPO để căn chỉnh các mô hình trò chuyện mà không phải trả tiền cho một mạng giá trị riêng
Cải thiện hành vi tuân theo hướng dẫn hoặc an toàn bằng cách lấy mẫu một số câu trả lời cho mỗi lời nhắc và khen thưởng cho những câu trả lời đó bằng mô hình phần thưởng có tỷ lệ cao nhất so với các bạn cùng lứa tuổi
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Relative Policy Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tối ưu hóa chính sách gần nhất
Câu hỏi thường gặp
Tối ưu hóa chính sách tương đối của nhóm là gì?
Tối ưu hóa chính sách tương đối nhóm (GRPO) là một phương pháp học tăng cường để tinh chỉnh các mô hình ngôn ngữ nhằm đánh giá từng câu trả lời dựa trên một nhóm các câu trả lời anh em cho cùng một lời nhắc, loại bỏ mạng giá trị riêng biệt được PPO sử dụng. Nó trở nên nổi tiếng như một thủ thuật đào tạo cốt lõi đằng sau các mô hình suy luận của DeepSeek.
GRPO loại bỏ thành phần chính nào của PPO?
Thay đổi chữ ký của GRPO là loại bỏ mô hình phê bình/giá trị đã học của PPO, thường có cùng kích thước với chính sách, tiết kiệm bộ nhớ và tính toán đáng kể.
GRPO tính toán lợi thế cho một lần hoàn thành nhất định như thế nào?
Ưu điểm của mỗi lần hoàn thành là (phần thưởng - giá trị trung bình của nhóm) / độ lệch chuẩn của nhóm, do đó nhóm câu trả lời cho cùng một lời nhắc đóng vai trò là đường cơ sở.
Những mô hình nào đã làm GRPO được nhiều người biết đến?
GRPO được DeepSeek giới thiệu và phổ biến, đặc biệt là trong DeepSeekMath và là công cụ RL đằng sau các mô hình lý luận DeepSeek-R1.
Thuật ngữ phân kỳ KL đóng vai trò gì trong GRPO?
Hình phạt KL đối với mô hình tham chiếu (thường là trước RL) thường xuyên hóa việc đào tạo để chính sách được cải thiện mà không bị sụp đổ hoặc dẫn đến các đầu ra suy biến.
Tại sao GRPO lại đặc biệt hấp dẫn đối với việc đào tạo các mô hình suy luận về toán hoặc mã?
Lấy mẫu nhiều giải pháp và chấm điểm chúng bằng các biện pháp kiểm tra tính đúng đắn tự động hoàn toàn phù hợp với các lợi thế chuẩn hóa nhóm của GRPO mà không cần người phê bình.