引導式測驗 · 中等 等級
柯恩的 Kappa 測驗
透過分類標籤的工作範例探索觀察到的和預期的一致性、加權 kappa 和註釋可靠性。
問題 1 的 8
兩位標註者的觀測一致性為 0.8,預期一致性為 0.5。對應的 kappa 值是多少?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 兩位標註者的觀測一致性為 0.8,預期一致性為 0.5。對應的 kappa 值是多少?
- 0.3
- 0.4
- 0.8
- 0.6
- 一位標註者在 60% 的情況下使用某類別,另一位在 50% 的情況下使用該類別。此類別對預期一致性貢獻多少?
- 0.10
- 0.30
- 0.55
- 1.10
- 為什麼 kappa 中的預期一致性項目並不能證明標註者是隨機猜測的?
- 它僅根據不一致的次數計算
- 它在每個資料集上都與觀測一致性相同
- 它是根據標籤頻率推導出的參考值,並非對標註者推理的觀測
- 它假設每個類別的頻率必須相等
- 對於低、中、高的事件嚴重程度,團隊為何可能會選擇加權 kappa?
- 對一層與兩層不一致給予不同的懲罰
- 將所有不一致從計算中移除
- 保證更高的可靠性分數
- 避免指定類別的順序
- 兩位標註者將每個案例都分配到同一個單一類別。為什麼一般的 kappa 不應該被報告為直接的可靠性成功?
- 完全一致的原始同意自動使 kappa 為一
- 分數忽略了常見類別,只評估不一致的部分
- 僅減去預期同意即可完成 kappa 計算
- 預期同意為一,導致分母為零
- 第二位審查者複製第一位審查者的標籤並達到完全一致。哪個結論是合理的?
- 標籤已被獨立驗證
- 一致性並未確立獨立可靠性
- 每個標籤必然正確
- 資料集可在不檢查說明的情況下使用
- 哪項附帶資訊有助於在類別頻率不均時解釋 kappa 分數?
- 僅原始同意百分比,沒有類別計數
- 僅僅是 kappa 是否超過通用臨界值
- 樣本大小、原始一致率與一致率表
- 僅加權分數,未指定類別順序
- 兩位標註者都遵循錯誤規則並高度一致。他們高 kappa 未能證明什麼?
- 他們的標籤事實上是正確的
- 他們觀察到的一致率超過了基於頻率的預期
- 他們在許多案例中使用了相同的標籤
- 他們的分配在共享規則下顯示出一致性