引導式測驗 · 中等 等級

標籤平滑測驗

涵蓋平滑目標和 epsilon、任務相關校準效果、蒸餾權衡以及為什麼結果取決於數據和目標。

相關引導路徑標籤平滑
問題 1 的 8

標籤平滑對訓練目標有何影響?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 標籤平滑對訓練目標有何影響?
    • 它軟化了單熱目標,因此真實類別低於 1.0,其他類別略高於 0
    • 它刪除了損失函數
    • 它刪除了不正確的類
    • 學習率翻倍
  2. 平滑參數 epsilon 的常見值為:
    • 0.9
    • 0.1
    • 5.0
    • 0.0
  3. 將硬性 one-hot 目標替換為平滑目標的預期效果之一是什麼?
    • 強制每個類別具有相等的機率
    • 保證真實類別的 logits 為可能的最大值
    • 避免要求標記類別的目標機率為恰好 1
    • 消除對標記訓練資料的需求
  4. 哪些重要架構是標籤平滑使用的顯著例子?
    • 僅 AlexNet 與 LeNet
    • 僅 ResNet-50 與 VGG
    • AlphaGo 和 AlphaZero
    • Inception-v3 和 Transformer
  5. 標籤平滑對校準能做什麼?
    • 它在某些情況下能改善校準,但效果取決於任務與模型
    • 它保證每個分類器都有完美校準
    • 它不會影響預測機率
    • 它總是使置信度等於準確率
  6. 標籤平滑的有記錄的缺點是什麼?
    • 它總是會降低準確性
    • 它會消除類間的精細相似性,損害知識精煉
    • 需要兩倍的訓練數據
    • 它只適用於文字
  7. 為什麼標籤平滑會使知識蒸餾變得複雜?
    • 它將每個類別標籤轉換為圖像
    • 它迫使學生使用不同的分詞器
    • 它可能會移除 logits 中關於錯誤類別之間相似性的資訊
    • 它阻止教師產生 logits
  8. 在比較標籤平滑實作時,實務者應該驗證什麼?
    • 模型是否具備網頁瀏覽器
    • 訓練是否使用驗證檔名
    • logits 是否以文字形式儲存
    • epsilon 是分配給所有類別還是僅分配給非目標類別