引導式測驗 · 中等 等級

法學碩士法官測驗

審查基於模型的評估、逐點和成對的評估標準,根據人類偏好判斷偏差和驗證。在實踐中。

問題 1 的 8

「法官法學碩士」指的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 「法官法學碩士」指的是什麼?
    • 使用一種語言模型對另一種模型的輸出進行評分或比較
    • 使用語言模型撰寫法律判決
    • 只回答是/否問題的模型
    • 按日期對搜尋結果進行排名的模型
  2. 逐點判斷和成對判斷有什麼不同?
    • 逐點更快;成對速度較慢,但其他方面相同
    • 逐點根據評分標準對一個答案進行評分;成對選擇兩個中較好的一個
    • Pointwise 僅適用於代碼;成對僅適用於散文
    • 沒有真正的區別
  3. 其中哪一項是法學碩士法官中有據可查的偏見?
    • 首選全部大寫字母的答案
    • 總是更喜歡按字母順序排列的第一個單詞
    • 無論品質如何,都傾向於較長的答案
    • 拒絕對有關歷史的問題評分
  4. 評估者通常如何處理成對比較中的立場偏差?
    • 一次只顯示一個答案
    • 總是把較長的答案放在第一位
    • 透過刪除理由字段
    • 透過交換順序運行每個比較兩次
  5. G-Eval 對生成的文字使用了什麼評估程序?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. 團隊如何確認法學碩士法官與人類偏好一致?
    • 設定後不再檢查
    • 透過根據人類標記的黃金組對其進行校準
    • 透過讓法官自己評分
    • 僅在周末使用它
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens