LLM 판사 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. '판사로서의 LLM'이란 무엇을 의미합니까?
   • 하나의 언어 모델을 사용하여 다른 모델의 출력 점수를 매기거나 비교
   • 언어 모델을 사용하여 법적 판결 작성
   • 예/아니오 질문에만 대답하는 모델
   • 날짜별로 검색 결과의 순위를 매기는 모델
2. 점별 판단과 쌍별 판단의 차이점은 무엇인가요?
   • Pointwise가 더 빠릅니다. 쌍별은 느리지만 그렇지 않으면 동일합니다.
   • Pointwise는 루브릭에 대해 하나의 답변을 채점합니다. 쌍으로 둘 중 더 나은 것을 선택합니다
   • Pointwise는 코드에만 작동합니다. 산문에 대해서만 쌍으로
   • 실제 차이는 없습니다
3. 다음 중 LLM 심사위원의 잘 문서화된 편견은 무엇입니까?
   • 모두 대문자로 작성된 답변을 선호합니다.
   • 항상 알파벳순으로 첫 번째 단어를 선호합니다.
   • 품질에 관계없이 긴 답변을 선호합니다.
   • 역사에 관한 질문 채점 거부
4. 평가자는 일반적으로 쌍별 비교에서 위치 편향에 어떻게 대응합니까?
   • 한 번에 하나의 답변만 표시함으로써
   • 항상 긴 답변을 먼저 배치함으로써
   • 사유 필드 삭제
   • 교체된 순서로 각 비교를 두 번 실행하여
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. LLM 심사위원이 인간의 선호도에 부합하는지 팀에서 어떻게 확인할 수 있나요?
   • 설정 후 다시 확인하지 않음으로써
   • 인간이 라벨을 붙인 금 세트에 대해 교정함으로써
   • 심사위원이 직접 등급을 매겨서
   • 주말에만 사용하면
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens