引導式測驗 · 中等 等級

內容審核演算法中的偏見測驗

測試標籤偏見與方言變體如何進入審核流程、偽陽性與偽陰性有何不同,以及為何管線層級的稽核至關重要。

問題 1 的 8

審核偽陽性是如何發生的?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 審核偽陽性是如何發生的?
    • 濫用內容被正確移除
    • 模型處理貼文的速度緩慢
    • 使用者對正確的決定提出申訴
    • 良性內容被錯誤地標記或限制
  2. Sap 等人在 2019 年對仇恨言論資料集的研究中發現了什麼?
    • 每一篇 AAE 貼文都包含仇恨言論
    • 所有平台都將 AAE 從其準則中移除
    • AAE 標記與毒性標籤相關聯,且模型在測試資料中學到了這種關聯
    • 該研究僅評估了影像分類器
  3. Sap 等人在實驗中報告的 AAE 推文最高相對標記差異是多少?
    • 可能性低十倍
    • 在所有資料集中完全相同
    • 該研究並未比較標籤
    • 被標記為冒犯性的可能性高達兩倍
  4. 方言啟發(dialect priming)如何影響 2019 年研究中的標註者?
    • 讓標註者意識到文字使用了 AAE,降低了他們將其標記為冒犯性的機率
    • 它消除了對人類標籤的需求
    • 它使每一篇貼文都成為違規內容
    • 它提高了所有的毒性評級
  5. 為什麼僅基於關鍵字的審核規則會誤判被重新定義的語言(reclaimed language)?
    • 它可能會忽略說話者、語境、引述和預期含義
    • 它總是能改善召回率
    • 它使用了過多的訓練範例
    • 它沒有閾值
  6. 哪一種評估方式能提供比單一整體準確率數字更強而有力的證據?
    • 使用的 GPU 數量
    • 具代表性範例上的特定任務誤報率與漏報率
    • 貼文的平均長度
    • 模型供應商的市場佔有率
  7. 稽核應包含哪一組階段?
    • 僅由版主移除的貼文
    • 僅模型訓練時間
    • 評分、閾值、人工審查、執行與申訴
    • 僅平台的公開政策標題
  8. 平台在稽核與方言相關的內容審查結果時應避免什麼?
    • 提供申訴管道
    • 將種族或方言標籤視為有害性的自動代理變數
    • 檢查標註者的意見分歧
    • 測試意義相符的範例