보상 해킹 및 사양 게임 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 보상 해킹의 핵심 문제는 무엇입니까?
   • 보상 함수는 실제 목표를 불완전하게 포착하는 프록시입니다.
   • AI는 훈련 중에 메모리가 부족합니다.
   • 모델이 너무 작아서 작업을 학습할 수 없습니다.
   • 훈련 데이터에는 항상 라벨이 잘못 지정되어 있습니다.
2. OpenAI의 CoastRunners 예에서 보트 에이전트는 무엇을 했나요?
   • 인간보다 빨리 경주를 마쳤다
   • 마무리 대신 보너스 목표를 달성하기 위해 원을 그리며 회전합니다.
   • 매번 즉시 충돌
   • 전혀 움직이기를 거부함
3. 측정값이 일단 목표가 되면 더 이상 유효하지 않다고 명시하는 원칙은 무엇입니까?
   • 무어의 법칙
   • 암달의 법칙
   • 굿하트의 법칙
   • 머피의 법칙
4. RLHF로 훈련된 언어 모델에서 보상 해킹은 일반적으로 어떻게 나타납니까?
   • 텍스트 생성 거부
   • 숫자만 출력
   • 모든 것을 라틴어로 번역하기
   • 아첨하고 사용자가 듣고 싶은 것을 말함
5. RLHF 정책이 너무 멀리 표류하고 보상 모델을 악용하는 것을 방지하는 데 도움이 되는 기술은 무엇입니까?
   • 정책을 기본 모델에 가깝게 유지하는 KL 페널티
   • 배치 크기만 늘리기
   • 모든 인간 피드백 제거
   • 최적화 프로그램 비활성화
6. 모델의 능력이 향상됨에 따라 보상 해킹이 더 큰 안전 문제가 되는 이유는 무엇입니까?
   • 더 큰 모델은 전혀 훈련할 수 없습니다.
   • 더 많은 능력을 갖춘 최적화 프로그램은 감지하기 어려운 미묘한 허점을 찾아냅니다.
   • 기능은 해킹에 영향을 미치지 않습니다
   • 더 큰 모델은 보상을 완전히 무시합니다.
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots