引導式測驗 · 硬 等級

LLM 評審對齊人類基準測驗

使用共同評分標準、獨立人類標籤、混淆矩陣、適當的一致性統計量以及重複的留出集檢查來校準 LLM 評審。

問題 1 的 8

在校準 LLM 評審時,為什麼 Cohen's kappa 優於原始百分比一致性?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在校準 LLM 評審時,為什麼 Cohen's kappa 優於原始百分比一致性?
    • Kappa 修正了純粹由隨機機會預期的一致性,而原始百分比一致性可能會高估這一點
    • Kappa 總是高於百分比一致性
    • Kappa 不需要人類標註的數據
    • Kappa 只能用於三位或更多評審者
  2. 在校準 LLM 評審與人類標籤時,混淆矩陣顯示什麼?
    • 評審對每個範例的回應延遲
    • 人類標籤與評審標籤如何交叉分組,揭示分歧具體集中在哪裡
    • 運行評審的總 token 成本
    • 範例被標註的順序
  3. 在評審將邊界可接受的回答評為「優秀」的範例中,這種模式通常表明什麼?
    • 評審模型根本無法進行評分
    • 評估管線中的硬體故障
    • 需要跨評分標準清晰度、評審行為和人類分歧進行調查的類別特定不匹配
    • 人類評審者犯了標註錯誤
  4. 一輪評審校準可能無法考慮到什麼?
    • 模型的參數數量
    • UI 按鈕的數量
    • 輸出是否包含句號
    • 評分標準或模型版本隨時間變化的事實
  5. 高一致性(LLM 判斷者與人類評分)本身無法證明什麼?
    • 評分標準有效或標籤正確
    • 所有人類標籤皆正確的證明
    • 跳過裁決的理由
    • 每項任務的通用門檻
  6. 為什麼在評估判斷者之前測量人類之間的一致性有用?
    • 它在校準過程中沒有實際用途
    • 作為有用的參考點,而非通用上限或正確性證明
    • 它取代了混淆矩陣的需要
    • 它決定判斷者的 token 預算
  7. 根據指南,當判斷者在某一類別上反覆與人類不同意時,實際的回應是什麼?
    • 將分歧隱藏在總體分數中
    • 將該類別從所有資料集中刪除
    • 檢查這些例子,澄清類別評分標準,並在保留案例上重新測試
    • 假設判斷者正確,因為它是一致的
  8. 為什麼在建立混淆矩陣之前,必須讓人類和判斷者使用完全相同的類別集合?
    • 因為 LLM API 需要相同的類別才能運行
    • 因為它降低了判斷者的運行成本
    • 因為 kappa 無法用於文字資料
    • 因為類別不匹配會使直接交叉表失效