引導式測驗 · 硬 等級

標註者間一致性與 Cohen's Kappa 測驗

測試對 Cohen kappa 公式、機會校正、兩個評估者的限制以及 Fleiss kappa 等相關統計數據的理解。

問題 1 的 8

根據指南,為何兩位標註者之間的原始百分比一致性可能會產生誤導?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 根據指南,為何兩位標註者之間的原始百分比一致性可能會產生誤導?
    • 因為它未考慮僅憑機會就可能出現的一致性,尤其在標籤分布偏斜時更是如此。
    • 因為百分比一致性在數學上永遠與 kappa 完全相同。
    • 因為百分比一致率永遠無法為二元標籤計算
    • 因為需要三位或以上的標註者才能計算
  2. Cohen κ 具體修正了什麼,而原始百分比一致率卻沒有?
    • 標註者輸入速度
    • 根據每位標註者個別標籤頻率,隨機情況下預期會發生的同意度
    • 被標註項目的總數
    • 標註者是否使用相同的軟體
  3. 當超過兩位評分者時,常用於名義標籤的替代統計量是什麼?
    • 未加權平均絕對誤差
    • Fleiss κ
    • 僅皮爾森相關係數
    • 一種加權 Cohen κ,平均所有編碼者對
  4. 何時應該使用加權 κ 變體而非標準 κ?
    • 僅在標記項目超過 1000 個時
    • 僅適用於二元是/否標籤
    • 永不;加權 κ 純屬理論概念,實務上不使用
    • 當標籤具有自然順序時,較小的單點分歧應比較大的分歧算得較低
  5. 當觀測一致性等於由評分者邊際分布估計的機會一致性時,Cohen 的 κ 取何值?
    • 0
    • 1
    • 負無窮大
    • 100
  6. 為何在有主導類別的資料集中,即使原始一致率看起來很高,κ 仍可能偏低?
    • 原始一致率不是有效的計算方式
    • 邊際標籤頻率會提升預期的機會一致性
    • κ 忽略了觀測到的一致性
    • 主類別自動意味著標籤是錯誤的
  7. 哪一項關於Krippendorff’s alpha的說法得到指南的支持?
    • Cohen's kappa的更嚴格、較不靈活的版本,只適用於兩位評分者
    • 百分比一致性的同義詞,沒有機會校正
    • 一種相關的替代kappa的方法,能原生處理缺失資料和兩個以上評分者
    • 僅適用於連續數值資料的度量,永不適用於分類標籤
  8. 指南如何描述常被引用的kappa值解釋帶(例如「輕微」、「幾乎完美」)?
    • 作為國際機構制定的嚴格、普遍共識的統計標準
    • 作為數據科學法規中固定的法律值
    • 不相關,因為kappa根本沒有標準解釋指導
    • 作為一種廣泛使用但非正式的尺度,閾值因領域而異