가이드 연계 퀴즈 · 하드 레벨

그룹 상대 정책 최적화 퀴즈

하나의 프롬프트 내에서 상대적 이점이 의미하는 바를 포함하여 GRPO 그룹 보상 정규화, 비평가 제거 및 참조 정책 정규화를 적용합니다.

관련 가이드 경로그룹 관련 정책 최적화
질문 1 의 8

Which separately learned estimator does the original GRPO approach avoid training?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. GRPO는 주어진 완료에 대한 이점을 어떻게 계산합니까?
    • 각 토큰에서 학습된 값 헤드를 쿼리하여
    • 정규화 없이 원시 보상을 사용하여
    • 다른 프롬프트의 완료와 비교하여
    • 형제 완료 그룹의 평균 및 표준 편차에 대한 보상을 표준화함으로써
  3. GRPO를 유명하게 만든 모델은 무엇입니까?
    • DeepSeek의 DeepSeekMath 및 DeepSeek-R1 추론 모델
    • OpenAI의 GPT-2 시리즈
    • Google의 원본 BERT
    • Meta의 Llama 2 기본 모델
  4. GRPO에서 KL-divergence 용어는 어떤 역할을 합니까?
    • 완료 그룹을 생성합니다.
    • 보상 모델을 대체합니다.
    • 훈련된 정책이 고정된 참조 모델에서 너무 멀리 벗어나는 것을 방지합니다.
    • 토큰당 가치 추정치를 계산합니다.
  5. 수학이나 코드에 대한 추론 모델을 훈련하는 데 GRPO가 특히 매력적인 이유는 무엇입니까?
    • 보상 신호가 전혀 필요하지 않습니다.
    • 인간의 선호 라벨에서만 작동합니다.
    • 샘플링된 완료를 사용할 수 없습니다.
    • 이는 샘플링된 솔루션 그룹 전체에서 점수가 매겨진 검증 가능한 규칙 기반 보상(예: 답변이 일치했습니까, 테스트를 통과했습니까?)과 함께 자연스럽게 작동합니다.
  6. 후속 연구(예: GRPO 박사)가 일반 GRPO에서 수정하려고 시도하는 알려진 편견 중 하나는 무엇입니까?
    • 보상을 완전히 무시하는 경향
    • 보상이 정규화되는 방식에 따라 길이 및 난이도 편향이 발생합니다.
    • 하나 이상의 완료를 샘플링할 수 없음
    • 거대한 비평가 네트워크의 요건
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks