引導式測驗 · 硬 等級
標註者間一致性與 Cohen's Kappa 測驗
測試對 Cohen kappa 公式、機會校正、兩個評估者的限制以及 Fleiss kappa 等相關統計數據的理解。
問題 1 的 8
根據指南,為何兩位標註者之間的原始百分比一致性可能會產生誤導?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 根據指南,為何兩位標註者之間的原始百分比一致性可能會產生誤導?
- 因為它未考慮僅憑機會就可能出現的一致性,尤其在標籤分布偏斜時更是如此。
- 因為百分比一致性在數學上永遠與 kappa 完全相同。
- 因為百分比一致率永遠無法為二元標籤計算
- 因為需要三位或以上的標註者才能計算
- Cohen κ 具體修正了什麼,而原始百分比一致率卻沒有?
- 標註者輸入速度
- 根據每位標註者個別標籤頻率,隨機情況下預期會發生的同意度
- 被標註項目的總數
- 標註者是否使用相同的軟體
- 當超過兩位評分者時,常用於名義標籤的替代統計量是什麼?
- 未加權平均絕對誤差
- Fleiss κ
- 僅皮爾森相關係數
- 一種加權 Cohen κ,平均所有編碼者對
- 何時應該使用加權 κ 變體而非標準 κ?
- 僅在標記項目超過 1000 個時
- 僅適用於二元是/否標籤
- 永不;加權 κ 純屬理論概念,實務上不使用
- 當標籤具有自然順序時,較小的單點分歧應比較大的分歧算得較低
- 當觀測一致性等於由評分者邊際分布估計的機會一致性時,Cohen 的 κ 取何值?
- 0
- 1
- 負無窮大
- 100
- 為何在有主導類別的資料集中,即使原始一致率看起來很高,κ 仍可能偏低?
- 原始一致率不是有效的計算方式
- 邊際標籤頻率會提升預期的機會一致性
- κ 忽略了觀測到的一致性
- 主類別自動意味著標籤是錯誤的
- 哪一項關於Krippendorff’s alpha的說法得到指南的支持?
- Cohen's kappa的更嚴格、較不靈活的版本,只適用於兩位評分者
- 百分比一致性的同義詞,沒有機會校正
- 一種相關的替代kappa的方法,能原生處理缺失資料和兩個以上評分者
- 僅適用於連續數值資料的度量,永不適用於分類標籤
- 指南如何描述常被引用的kappa值解釋帶(例如「輕微」、「幾乎完美」)?
- 作為國際機構制定的嚴格、普遍共識的統計標準
- 作為數據科學法規中固定的法律值
- 不相關,因為kappa根本沒有標準解釋指導
- 作為一種廣泛使用但非正式的尺度,閾值因領域而異