인간 피드백 퀴즈를 통한 강화 학습

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 언어 모델에 대한 RLHF의 주요 목적은 무엇입니까?
   • 유용성과 안전성에 대한 인간의 선호에 맞춰 출력을 조정합니다.
   • 모델의 매개변수 수를 늘리려면
   • 더 빠른 추론을 위해 모델을 압축하려면
   • 모델을 다른 언어로 번역하려면
2. RLHF의 보상 모델은 실제로 무엇을 배우나요?
   • 사용자에게 최종 응답 생성
   • 프롬프트를 보상 통화로 변환
   • 인간이 주어진 응답을 얼마나 선호하는지를 반영하는 스칼라 점수를 할당합니다.
   • 모델의 학습률 결정
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. 보상 모델에 대한 선호도 데이터는 일반적으로 어떻게 수집됩니까?
   • 인간은 처음부터 새로운 답변을 작성합니다
   • 모델은 자체 신뢰도를 평가합니다.
   • 무작위 라벨이 자동으로 할당됩니다.
   • 인간은 동일한 프롬프트에 대해 두 가지 모델 응답을 비교하고 더 나은 응답을 선택합니다.
5. DPO(Direct Preference Optimization)는 기존 RLHF 파이프라인에 비해 어떤 이점을 제공합니까?
   • 데이터가 전혀 필요하지 않습니다
   • 모델이 결코 틀릴 수 없음을 보장합니다.
   • 별도의 보상 모델과 PPO 루프를 건너뛰고 선호 쌍에서 직접 정책을 최적화합니다.
   • 사전 훈련이 필요하지 않습니다.
6. RLAIF와 Constitutional AI에서 피드백의 대부분은 어디에서 나오나요?
   • 응답을 생성하거나 비판하는 AI 모델에서 사람의 라벨 지정을 줄입니다.
   • 유료 인간 어노테이터에서만 가능
   • 난수 생성기에서
   • 모델의 사전 학습 코퍼스에서 직접 가져옴
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression