프로세스 보상 모델 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 프로세스 보상 모델과 결과 보상 모델을 주로 구별하는 것은 무엇입니까?
   • 최종 답변뿐만 아니라 각 중간 추론 단계에 점수를 매깁니다.
   • 추론 시간에 더 빠르게 실행됩니다.
   • 학습 데이터가 필요하지 않습니다.
   • 이미지 입력에서만 작동합니다.
2. PRM 연구와 관련된 인간 단계 수준 수학 레이블의 잘 알려진 데이터 세트는 무엇입니까?
   • 이미지넷
   • PRM800K
   • 분대
   • 위키텍스트
3. 결과 전용 보상 신호가 오해의 소지가 있는 이유는 무엇입니까?
   • 최종 답변은 절대 정확하지 않습니다.
   • 결과 모델은 텍스트를 읽을 수 없습니다.
   • 올바른 최종 답변은 결함이 있는 추론으로 인해 발생할 수도 있고 대부분 올바른 추론으로 인해 잘못된 답변이 나올 수도 있습니다.
   • 항상 문법에 과적합됩니다.
4. 단계별 점수를 단일 체인 점수로 바꾸는 일반적인 방법은 다음과 같습니다.
   • 각 단계에 임의의 숫자를 추가하세요.
   • 첫 번째 단계만 제외하고 모두 무시
   • 토큰 개수만 사용
   • 체인 전체에 걸쳐 최소 단계 확률을 취합니다.
5. Math-Shepherd 접근 방식은 단계에 자동으로 레이블을 지정하기 위해 무엇을 사용합니까?
   • 한 단계가 정답으로 이어지는 빈도를 추정하는 몬테카를로 롤아웃
   • 모든 단계에 대한 전문가의 수동 검토
   • 단계를 다른 언어로 번역
   • 구두점 세기
6. PRM에 대해 모델을 교육할 때 특히 관련된 위험은 무엇입니까?
   • 모델은 읽는 방법을 잊어버렸다
   • 실제로 정확하지 않은 단계가 PRM에게 좋아 보이는 보상 해킹
   • PRM은 컴퓨팅을 소비하지 않습니다.
   • 단계 생성이 불가능해짐
7. How can a process reward model guide a tree search over reasoning?
   • Expand every branch equally without scoring
   • Choose branches by their final token length
   • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
   • Replace all branches with one randomly selected answer
8. What does the PRM800K dataset contain?
   • Only final answer labels for image captions
   • Audio recordings of spoken explanations
   • A corpus of code commits with no reasoning labels
   • Human labels for intermediate steps in mathematical reasoning solutions