引導式測驗 · 中等 等級

撰寫資料標註指南測驗

測試對邊緣情況、指南結構、版本控制以及編寫註釋指南時的誤解的理解。

相關引導路徑撰寫標註指南
問題 1 的 8

為什麼指南說無論模型架構如何,標記不一致的訓練資料都是一個問題?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼指南說無論模型架構如何,標記不一致的訓練資料都是一個問題?
    • 因為模型從給定的標籤中學習噪音而不是預期的概念
    • 因為不一致的標籤總是會導致訓練管道崩潰
    • 因為標籤不一致直接增加GPU成本
    • 因为标签对模型性能没有影响
  2. 根據該指南,大多數註釋者之間的分歧源自於何處?
    • 从标签界面的配色方案来看
    • 指南中未明确解决的边缘情况
    • 從每天應用的標籤總數來看
    • 来自使用不同键盘的注释者
  3. 在將註釋指南擴展到完整資料集之前,指南建議做什麼?
    • 跳過任何試點並立即標記所有內容以加快速度
    • 刪除所有邊緣情況範例以保持文件簡短
    • 小批量試行指南,審查分歧,並在擴大規模之前進行修改
    • 僅將整個資料集指派給單一註釋器
  4. 根據該指南,記錄在案的關於指南長度和一致性的誤解是什麼?
    • 該指南不應包含範例
    • 短的指導方針總是比長的指導方針導致更多的錯誤
    • 該指南一旦編寫就不需要更新
    • 更詳細的指導方針總是可以提高一致性,而過長或衝突的規則實際上會降低一致性
  5. 為什麼指南修訂應進行版本控制並與特定資料批次相關聯?
    • 這樣,如果修訂後協議分數下降,可以確定具體的變更和受影響的批次
    • 因此每個版本的註釋者可以得到不同的報酬
    • 因為標籤軟體需要版本號碼才能運作
    • 以便使用後可以刪除指南文件
  6. 根據指南,校準課程發揮什麼作用?
    • 它們取代了任何書面指導文件的需要
    • 他們讓註釋者標記相同的樣本並一起討論分歧,從而調整對模棱兩可的案例的判斷
    • 它們僅用於測試註釋者的打字速度
    • 它們是所有標籤項目的正式法律要求
  7. 該指南如何描述註釋指南和法學碩士之間的新興關係?
    • 法學碩士已經使註釋指南完全過時了
    • 法學碩士不能使用任何形式的書面指南
    • 指南開始兼作模型進行首次標記的提示,然後由人類進行審查
    • 註釋指南現在僅用於訓練法學碩士,而不是人類
  8. 在指南的命名實體範例中,像「Dr.」這樣的標題應該如何使用?附加到一個名字被標記?
    • 作為單獨的標題類別,與人員實體不同
    • 应该完全不加标签
    • 它應該被標記為組織實體
    • 作為人員實體的一部分,而不是單獨的頭銜類別