引導式測驗 · 中等 等級

柯恩的 Kappa 測驗

透過分類標籤的工作範例探索觀察到的和預期的一致性、加權 kappa 和註釋可靠性。

相關引導路徑科恩斯·卡帕
問題 1 的 8

兩位標註者的觀測一致性為 0.8,預期一致性為 0.5。對應的 kappa 值是多少?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 兩位標註者的觀測一致性為 0.8,預期一致性為 0.5。對應的 kappa 值是多少?
    • 0.3
    • 0.4
    • 0.8
    • 0.6
  2. 一位標註者在 60% 的情況下使用某類別,另一位在 50% 的情況下使用該類別。此類別對預期一致性貢獻多少?
    • 0.10
    • 0.30
    • 0.55
    • 1.10
  3. 為什麼 kappa 中的預期一致性項目並不能證明標註者是隨機猜測的?
    • 它僅根據不一致的次數計算
    • 它在每個資料集上都與觀測一致性相同
    • 它是根據標籤頻率推導出的參考值,並非對標註者推理的觀測
    • 它假設每個類別的頻率必須相等
  4. 對於低、中、高的事件嚴重程度,團隊為何可能會選擇加權 kappa?
    • 對一層與兩層不一致給予不同的懲罰
    • 將所有不一致從計算中移除
    • 保證更高的可靠性分數
    • 避免指定類別的順序
  5. 兩位標註者將每個案例都分配到同一個單一類別。為什麼一般的 kappa 不應該被報告為直接的可靠性成功?
    • 完全一致的原始同意自動使 kappa 為一
    • 分數忽略了常見類別,只評估不一致的部分
    • 僅減去預期同意即可完成 kappa 計算
    • 預期同意為一,導致分母為零
  6. 第二位審查者複製第一位審查者的標籤並達到完全一致。哪個結論是合理的?
    • 標籤已被獨立驗證
    • 一致性並未確立獨立可靠性
    • 每個標籤必然正確
    • 資料集可在不檢查說明的情況下使用
  7. 哪項附帶資訊有助於在類別頻率不均時解釋 kappa 分數?
    • 僅原始同意百分比,沒有類別計數
    • 僅僅是 kappa 是否超過通用臨界值
    • 樣本大小、原始一致率與一致率表
    • 僅加權分數,未指定類別順序
  8. 兩位標註者都遵循錯誤規則並高度一致。他們高 kappa 未能證明什麼?
    • 他們的標籤事實上是正確的
    • 他們觀察到的一致率超過了基於頻率的預期
    • 他們在許多案例中使用了相同的標籤
    • 他們的分配在共享規則下顯示出一致性