근접 정책 최적화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. PPO의 '클리핑'은 주로 어떤 문제를 해결합니까?
   • 교육을 불안정하게 만드는 지나치게 큰 정책 업데이트
   • 느린 데이터 로딩
   • 어휘 크기 제한
   • 추론 중 메모리 사용량
2. PPO가 포함된 언어 모델 RLHF에서 보상 신호는 일반적으로 어디에서 발생합니까?
   • 모든 토큰에 대한 직접적인 인간 채점
   • 훈련된 보상 모델
   • 옵티마이저의 학습률
   • 어휘의 크기
3. PPO 기반 RLHF에서 KL 발산 페널티는 무엇을 합니까?
   • 토큰 생성 속도 향상
   • 보상 모델의 정확성을 높입니다.
   • 미세 조정된 모델이 참조 모델에서 너무 멀리 표류하지 않도록 유지합니다.
   • 가치 네트워크의 필요성을 제거합니다.
4. PPO에서 가치(비평가) 네트워크의 역할은 무엇인가요?
   • 최종 텍스트 출력을 생성하려면
   • 훈련 데이터를 저장하려면
   • 보상 모델을 완전히 대체하려면
   • 기대 수익을 추정하여 이점을 계산할 수 있습니다.
5. PPO에서 '이점'은 무엇을 의미합니까?
   • 예상된 기준보다 작업이 얼마나 나은지
   • 모델의 총 매개변수 수
   • 클리핑 범위
   • KL 페널티 계수
6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
   • It removes all policy sampling and optimizes only supervised labels
   • It estimates relative advantages from groups of sampled responses without a separate value critic
   • It uses a trained reward model as a value network
   • It guarantees zero policy drift after one update
7. What probability ratio does PPO clip in its surrogate objective?
   • The reward divided by the number of prompts
   • The value estimate divided by the KL coefficient
   • The new policy’s action probability divided by the old policy’s action probability
   • The sequence length divided by batch size
8. Why is PPO called an on-policy method in its standard form?
   • It trains only on a static image dataset
   • It never samples actions
   • It updates only a reward model
   • It collects trajectories using the current policy being optimized