引導式測驗 · 中等 等級
標籤平滑測驗
涵蓋平滑目標和 epsilon、任務相關校準效果、蒸餾權衡以及為什麼結果取決於數據和目標。
問題 1 的 8
標籤平滑對訓練目標有何影響?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 標籤平滑對訓練目標有何影響?
- 它軟化了單熱目標,因此真實類別低於 1.0,其他類別略高於 0
- 它刪除了損失函數
- 它刪除了不正確的類
- 學習率翻倍
- 平滑參數 epsilon 的常見值為:
- 0.9
- 0.1
- 5.0
- 0.0
- 將硬性 one-hot 目標替換為平滑目標的預期效果之一是什麼?
- 強制每個類別具有相等的機率
- 保證真實類別的 logits 為可能的最大值
- 避免要求標記類別的目標機率為恰好 1
- 消除對標記訓練資料的需求
- 哪些重要架構是標籤平滑使用的顯著例子?
- 僅 AlexNet 與 LeNet
- 僅 ResNet-50 與 VGG
- AlphaGo 和 AlphaZero
- Inception-v3 和 Transformer
- 標籤平滑對校準能做什麼?
- 它在某些情況下能改善校準,但效果取決於任務與模型
- 它保證每個分類器都有完美校準
- 它不會影響預測機率
- 它總是使置信度等於準確率
- 標籤平滑的有記錄的缺點是什麼?
- 它總是會降低準確性
- 它會消除類間的精細相似性,損害知識精煉
- 需要兩倍的訓練數據
- 它只適用於文字
- 為什麼標籤平滑會使知識蒸餾變得複雜?
- 它將每個類別標籤轉換為圖像
- 它迫使學生使用不同的分詞器
- 它可能會移除 logits 中關於錯誤類別之間相似性的資訊
- 它阻止教師產生 logits
- 在比較標籤平滑實作時,實務者應該驗證什麼?
- 模型是否具備網頁瀏覽器
- 訓練是否使用驗證檔名
- logits 是否以文字形式儲存
- epsilon 是分配給所有類別還是僅分配給非目標類別