引导式测验 · 中等 等级

法学硕士法官测验

审查基于模型的评估、逐点和成对的评价标准，根据人类偏好判断偏差和验证。在实践中。

相关引导路径作为法官的法学硕士
问题 1 的 8

“法官法学硕士”指的是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. “法官法学硕士”指的是什么？
    • 使用一种语言模型对另一种模型的输出进行评分或比较
    • 使用语言模型撰写法律判决
    • 只回答是/否问题的模型
    • 按日期对搜索结果进行排名的模型
  2. 逐点判断和成对判断有什么区别？
    • 逐点更快；成对速度较慢，但其他方面相同
    • 逐点根据评分标准对一个答案进行评分；成对选择两个中较好的一个
    • Pointwise 仅适用于代码；成对仅适用于散文
    • 没有真正的区别
  3. 其中哪一项是法学硕士法官中有据可查的偏见？
    • 首选全部大写字母的答案
    • 总是更喜欢按字母顺序排列的第一个单词
    • 无论质量如何，都倾向于较长的答案
    • 拒绝对有关历史的问题评分
  4. 评估者通常如何应对成对比较中的立场偏差？
    • 一次只显示一个答案
    • 总是把较长的答案放在第一位
    • 通过删除理由字段
    • 通过交换顺序运行每个比较两次
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. 团队如何确认法学硕士法官与人类偏好保持一致？
    • 设置后不再检查
    • 通过根据人类标记的黄金组对其进行校准
    • 通过让法官自己评分
    • 仅在周末使用它
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens