引導式測驗 · 中等 等級

Dropout 和隨機正規化測驗

測試隨機遮罩、訓練和推理模式、反向縮放、共同適應限制、MC dropout 和變數預測。

相關引導路徑Dropout 和隨機正規化
問題 1 的 8

dropout在訓練過程中做了什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. dropout在訓練過程中做了什麼?
    • 永久刪除權重
    • 在每次前向傳遞中隨機將一部分神經元輸出設為零
    • 學習率加倍
    • 在網路上增加更多層
  2. 為什麼 dropout 可以提高泛化能力?
    • 它增加了參數的數量
    • 它消除了對訓練資料的需要
    • 確保零訓練誤差
    • 它阻止神經元共同適應並強制冗餘、穩健的表示
  3. 測試(推理)時丟失會發生什麼?
    • 已關閉並使用完整網絡
    • 它會掉落更多的神經元
    • 它刪除了一半的權重
    • 它隨機化標籤
  4. 一層中 p = 0.5 的 dropout 率在訓練期間大致代表什麼?
    • 所有神經元都被移除
    • 沒有神經元受到影響
    • 每次傳遞時大約有一半的神經元被歸零
    • 圖層被刪除
  5. 通常將 dropout 描述為近似值是什麼?
    • 單一線性迴歸
    • 決策樹
    • 傅立葉變換
    • 許多共享權重的稀疏網路的集合
  6. 蒙特卡羅 dropout 有何用途?
    • 加快資料載入速度
    • 透過在推理時保持 dropout 活躍來估計模型不確定性
    • 將網路壓縮為更少的權重
    • 自動標記訓練數據
  7. With inverted dropout, why is no extra activation scaling normally needed at ordinary inference?
    • The keep probability becomes exactly zero
    • Inference always averages new random masks
    • Surviving activations were already scaled during training
    • Every weight is divided by the number of layers
  8. The same input yields varying predictions because dropout remains active during evaluation. What explains the variation?
    • New random masks sample different subnetworks on each pass
    • The input changes its label by itself
    • The network has no trained weights
    • Batch size must be one