개요
It became famous as the core training trick behind DeepSeek's reasoning models.
심층 분석
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
실제 구현
수학 문제에 대한 규칙 기반 정확성 보상을 사용하여 긴 사고 연쇄 추론을 생성하도록 DeepSeek-R1 및 DeepSeekMath 교육
샘플링된 각 솔루션이 단위 테스트 통과 여부에 따라 점수가 매겨지고 그룹이 정규화되어 승자를 선택하는 미세 조정 코드 생성 모델
별도의 가치 네트워크 비용을 지불하지 않고 GRPO를 사용하여 채팅 모델을 정렬하는 오픈 소스 RLHF 파이프라인(예: TRL 및 verl 라이브러리)
프롬프트당 여러 응답을 샘플링하고 동료에 비해 보상 모델 비율이 가장 높은 응답에 보상을 제공하여 지시 따르기 또는 안전 행동을 개선합니다.
그룹 상대 정책 최적화의 미래
GRPO는 개방형 추론 모델을 훈련하기 위한 기본 방법으로 빠르게 자리 잡았으며 실험실에서는 약점을 반복하고 있습니다. 연구원들은 길이 및 난이도 편향(예: Dr. GRPO), 시퀀스 수준 정규화가 아닌 토큰 수준, KL 용어 제거 또는 재구성에 대한 수정 사항을 탐색하고 있습니다. 검증 가능한 보상(수학, 코드, 도구 사용)과의 더욱 긴밀한 통합, 희소 신호 처리 개선, 에이전트적 다단계 작업에 대한 경량 비평가와 그룹 기준을 결합하는 하이브리드를 기대합니다.
실천에 옮기기
왜 중요한가요?
- 비용 및 예산. 아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
- 더 명확한 결정들. 기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
- 품질 관리. 더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
조심하세요
- 하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
- 인프라 및 유지 관리 비용은 종종 과소평가됩니다.
- 시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
다음 단계
- 구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
- 현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
- 오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
- 확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the Group Relative Policy Optimization quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
What is Group Relative Policy Optimization?
GRPO(그룹 상대 정책 최적화)는 PPO에서 사용하는 별도의 가치 네트워크를 제거하여 동일한 프롬프트에 대한 형제 답변 그룹에 대해 각 답변을 판단하는 미세 조정 언어 모델을 위한 강화 학습 방법입니다. 이는 DeepSeek 추론 모델의 핵심 훈련 트릭으로 유명해졌습니다.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
GRPO는 주어진 완료에 대한 이점을 어떻게 계산합니까?
각 완료의 이점은 (보상 - 그룹 평균) / 그룹 표준 편차이므로 동일한 프롬프트에 대한 답변 그룹이 기준선 역할을 합니다.
GRPO를 유명하게 만든 모델은 무엇입니까?
GRPO는 DeepSeek, 특히 DeepSeekMath와 DeepSeek-R1 추론 모델의 RL 엔진으로 소개되어 대중화되었습니다.
GRPO에서 KL-divergence 용어는 어떤 역할을 합니까?
참조(일반적으로 사전 RL) 모델에 대한 KL 페널티는 훈련을 정규화하므로 정책이 붕괴되거나 퇴화된 출력으로 표류하지 않고 개선됩니다.
수학이나 코드에 대한 추론 모델을 훈련하는 데 GRPO가 특히 매력적인 이유는 무엇입니까?
많은 솔루션을 샘플링하고 자동 정확성 검사로 점수를 매기는 것은 GRPO의 그룹 정규화 이점과 완벽하게 짝을 이루며 비판이 필요하지 않습니다.