그룹 관련 정책 최적화
GRPO(그룹 상대 정책 최적화)는 PPO에서 사용하는 별도의 가치 네트워크를 제거하여 동일한 프롬프트에 대한 형제 답변 그룹에 대해 각 답변을 판단하는 미세 조정 언어 모델을 위한 강화 학습 방법입니다.
개요
It became famous as the core training trick behind DeepSeek's reasoning models.
심층 분석
GRPO는 대규모 언어 모델의 RL 미세 조정을 더 저렴하고 안정적으로 만들기 위해 설계된 정책 그라데이션 강화 학습의 변형입니다. 표준 PPO에는 각 토큰이 얼마나 좋은지 추정하기 위해 대략 정책 자체만큼 큰 학습된 '비평가'(가치 모델)가 필요합니다. GRPO는 해당 비평가를 완전히 제거합니다. 각 프롬프트에 대해 완료 그룹(예: 8~64개)을 샘플링하고 보상 신호로 모두 점수를 매긴 다음 그룹의 평균 및 표준 편차에 대한 보상을 표준화하여 각 완료의 이점을 계산합니다. 평균 이상의 답변은 강화되고 평균 미만의 답변은 억제됩니다. KL-divergence 항은 모델을 참조 정책에 가깝게 유지합니다. DeepSeek에 의해 도입된 이 제품은 DeepSeekMath 및 DeepSeek-R1 추론 모델을 강화했습니다.
기술적 통찰력
핵심 아이디어는 PPO의 학습 가치 기준을 몬테카를로 그룹 기준으로 대체하는 것입니다. 보상 r_i가 있는 출력 그룹의 경우 각 이점은 A_i = (r_i - 평균(r)) / std(r)입니다. 정규화된 점수는 PPO에서와 마찬가지로 잘린 확률 비율을 곱하고 고정 참조 모델에 대한 KL 페널티는 드리프트를 억제합니다. 비평가가 훈련되지 않기 때문에 메모리와 컴퓨팅은 대략 절반으로 줄어들고 프롬프트별 정규화는 자연스럽게 확장되고 분산이 낮은 이점을 제공합니다.
전략적 영향
비용 및 예산
아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
더 명확한 결정들
기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
품질 관리
더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
그룹 상대 정책 최적화의 미래
GRPO는 개방형 추론 모델을 훈련하기 위한 기본 방법으로 빠르게 자리 잡았으며 실험실에서는 약점을 반복하고 있습니다. 연구원들은 길이 및 난이도 편향(예: Dr. GRPO), 시퀀스 수준 정규화가 아닌 토큰 수준, KL 용어 제거 또는 재구성에 대한 수정 사항을 탐색하고 있습니다. 검증 가능한 보상(수학, 코드, 도구 사용)과의 더욱 긴밀한 통합, 희소 신호 처리 개선, 에이전트적 다단계 작업에 대한 경량 비평가와 그룹 기준을 결합하는 하이브리드를 기대합니다.
실제 구현
수학 문제에 대한 규칙 기반 정확성 보상을 사용하여 긴 사고 연쇄 추론을 생성하도록 DeepSeek-R1 및 DeepSeekMath 교육
샘플링된 각 솔루션이 단위 테스트 통과 여부에 따라 점수가 매겨지고 그룹이 정규화되어 승자를 선택하는 미세 조정 코드 생성 모델
별도의 가치 네트워크 비용을 지불하지 않고 GRPO를 사용하여 채팅 모델을 정렬하는 오픈 소스 RLHF 파이프라인(예: TRL 및 verl 라이브러리)
프롬프트당 여러 응답을 샘플링하고 동료에 비해 보상 모델 비율이 가장 높은 응답에 보상을 제공하여 지시 따르기 또는 안전 행동을 개선합니다.
위험 및 가드레일
하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
인프라 및 유지 관리 비용은 종종 과소평가됩니다.
시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
구현 로드맵
구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Relative Policy Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
근접 정책 최적화
자주 묻는 질문
What is Group Relative Policy Optimization?
GRPO(그룹 상대 정책 최적화)는 PPO에서 사용하는 별도의 가치 네트워크를 제거하여 동일한 프롬프트에 대한 형제 답변 그룹에 대해 각 답변을 판단하는 미세 조정 언어 모델을 위한 강화 학습 방법입니다. 이는 DeepSeek 추론 모델의 핵심 훈련 트릭으로 유명해졌습니다.
GRPO는 PPO의 어떤 주요 구성 요소를 제거합니까?
GRPO의 서명 변경은 일반적으로 정책과 거의 동일한 크기인 PPO의 학습된 가치/비판 모델을 삭제하여 상당한 메모리와 컴퓨팅을 절약합니다.
GRPO는 주어진 완료에 대한 이점을 어떻게 계산합니까?
각 완료의 이점은 (보상 - 그룹 평균) / 그룹 표준 편차이므로 동일한 프롬프트에 대한 답변 그룹이 기준선 역할을 합니다.
GRPO를 유명하게 만든 모델은 무엇입니까?
GRPO는 DeepSeek, 특히 DeepSeekMath와 DeepSeek-R1 추론 모델의 RL 엔진으로 소개되어 대중화되었습니다.
GRPO에서 KL-divergence 용어는 어떤 역할을 합니까?
참조(일반적으로 사전 RL) 모델에 대한 KL 페널티는 훈련을 정규화하므로 정책이 붕괴되거나 퇴화된 출력으로 표류하지 않고 개선됩니다.
수학이나 코드에 대한 추론 모델을 훈련하는 데 GRPO가 특히 매력적인 이유는 무엇입니까?
많은 솔루션을 샘플링하고 자동 정확성 검사로 점수를 매기는 것은 GRPO의 그룹 정규화 이점과 완벽하게 짝을 이루며 비판이 필요하지 않습니다.