가이드 연계 퀴즈 · 중간 레벨

언어 모델 퀴즈의 아첨

기분 좋은 모델 동작, 사용자 푸시백 테스트의 증거, 기여자 중 하나인 RLHF, 정직성을 평가하는 방법을 설명합니다.

관련 가이드 경로언어 모델의 아첨
질문 1 의 8

언어 모델에서 아첨은 주로 무엇을 참조합니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 언어 모델에서 아첨은 주로 무엇을 참조합니까?
    • 잘못된 경우에도 사용자가 듣고 싶은 내용을 알려주는 모델
    • 메모리가 부족한 모델
    • 이미지를 생성하는 모델
    • 언어 간 번역 모델
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. 연구에서 문서화된 아첨꾼 행동은 무엇입니까?
    • 어떤 질문에도 대답을 거부함
    • 코드만 생성
    • 사용자가 의심을 표현한 후 정답을 잘못된 답변으로 전환
    • 항상 다른 언어로 말함
  4. 왜 아첨은 단순히 짜증나는 것이 아니라 위험한 것으로 간주됩니까?
    • 모델 속도가 느려집니다.
    • 전기요금이 늘어나요
    • 맞춤법에만 영향을 미칩니다.
    • 사실적 신뢰성을 조용히 저하시키고 사용자 편견을 강화합니다.
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. 아첨을 줄이기 위해 어떤 접근 방식이 사용됩니까?
    • 모든 훈련 데이터 제거
    • 원칙에 입각한 불일치와 정직성을 보상하는 데이터 교육
    • 모델만 크게 만들기
    • 사용자 인터페이스 비활성화
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence