引導式測驗 · 中等 等級
內容審核演算法中的偏見測驗
測試標籤偏見與方言變體如何進入審核流程、偽陽性與偽陰性有何不同,以及為何管線層級的稽核至關重要。
問題 1 的 8
審核偽陽性是如何發生的?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 審核偽陽性是如何發生的?
- 濫用內容被正確移除
- 模型處理貼文的速度緩慢
- 使用者對正確的決定提出申訴
- 良性內容被錯誤地標記或限制
- Sap 等人在 2019 年對仇恨言論資料集的研究中發現了什麼?
- 每一篇 AAE 貼文都包含仇恨言論
- 所有平台都將 AAE 從其準則中移除
- AAE 標記與毒性標籤相關聯,且模型在測試資料中學到了這種關聯
- 該研究僅評估了影像分類器
- Sap 等人在實驗中報告的 AAE 推文最高相對標記差異是多少?
- 可能性低十倍
- 在所有資料集中完全相同
- 該研究並未比較標籤
- 被標記為冒犯性的可能性高達兩倍
- 方言啟發(dialect priming)如何影響 2019 年研究中的標註者?
- 讓標註者意識到文字使用了 AAE,降低了他們將其標記為冒犯性的機率
- 它消除了對人類標籤的需求
- 它使每一篇貼文都成為違規內容
- 它提高了所有的毒性評級
- 為什麼僅基於關鍵字的審核規則會誤判被重新定義的語言(reclaimed language)?
- 它可能會忽略說話者、語境、引述和預期含義
- 它總是能改善召回率
- 它使用了過多的訓練範例
- 它沒有閾值
- 哪一種評估方式能提供比單一整體準確率數字更強而有力的證據?
- 使用的 GPU 數量
- 具代表性範例上的特定任務誤報率與漏報率
- 貼文的平均長度
- 模型供應商的市場佔有率
- 稽核應包含哪一組階段?
- 僅由版主移除的貼文
- 僅模型訓練時間
- 評分、閾值、人工審查、執行與申訴
- 僅平台的公開政策標題
- 平台在稽核與方言相關的內容審查結果時應避免什麼?
- 提供申訴管道
- 將種族或方言標籤視為有害性的自動代理變數
- 檢查標註者的意見分歧
- 測試意義相符的範例