裁判官としての LLM クイズ

クイズに答えると、答えと解説が表示されます。

1. 「裁判官としてのLLM」とは何を指しますか?
   • 1 つの言語モデルを使用して別のモデルの出力をスコアリングまたは比較する
   • 言語モデルを使用して法的判決を作成する
   • はい/いいえの質問のみに答えるモデル
   • 検索結果を日付でランク付けするモデル
2. ポイントワイズジャッジとペアワイズジャッジの違いは何ですか?
   • Pointwise の方が高速です。ペアワイズは遅いですが、それ以外は同じです
   • Pointwise はルーブリックに照らして 1 つの回答を採点します。ペアごとに 2 つのうちの良い方を選択します
   • Pointwise はコードに対してのみ機能します。散文のみペアワイズ
   • 実質的な違いはありません
3. LLM 裁判官における偏見が十分に文書化されているのは次のうちどれですか?
   • 回答はすべて大文字で書くことを推奨します
   • 常にアルファベット順で最初の単語を優先します
   • 質に関係なく長い回答を好む
   • 歴史に関する質問の採点を拒否する
4. 評価者は通常、ペアごとの比較におけるバイアスにどのように対抗するのでしょうか?
   • 一度に 1 つの回答のみを表示することで、
   • 常に長い答えを最初に置くことで、
   • ジャスティフィケーションフィールドを削除することで
   • 順序を入れ替えて各比較を 2 回実行する
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. LLM 審査員が人間の好みと一致していることをチームはどうやって確認できるでしょうか?
   • セットアップ後に二度とチェックしないことで
   • 人間がラベルを付けたゴールドセットに対して校正することにより
   • 審査員自身が採点することで
   • 週末だけ利用することで
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens