引導式測驗 · 硬 等級

批量歸一化測驗

檢查批量統計數據、仿射尺度和平移、運行平均值、小批量不穩定性以及 BatchNorm 與 LayerNorm 的不同之處。

相關引導路徑批量歸一化
問題 1 的 8

批量歸一化歸一化什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 批量歸一化歸一化什麼?
    • 跨當前小批量中的範例的層的輸入
    • 網路的最終輸出標籤
    • 隨著時間的推移學習率表
    • 訓練資料集的大小
  2. 為什麼批量歸一化包括可學習參數 gamma 和 beta?
    • 增加資料集的大小
    • 讓網路擴展並移動標準化值,保留代表性能力
    • 訓練過程中隨機丟棄神經元
    • 計算損失函數
  3. 批量標準化的常見實際好處是什麼?
    • 它消除了對任何訓練資料的需要
    • 它保證模型不會過度擬合
    • 它允許更高的學習率和更快、更穩定的收斂
    • 它消除了對激活函數的需要
  4. 在推理時(預測新資料),大量標準化使用什麼統計資料?
    • 僅當前單一輸入的平均值和方差
    • 每次隨機產生統計數據
    • 預先計算的測試集的統計數據
    • 訓練期間累積的平均值和變異數的運行平均值
  5. 為什麼批量歸一化對於非常小的批量大小表現不佳?
    • 批量統計數據變得嘈雜且對真實分佈的估計變得不可靠
    • 小批量使模型太大而無法容納在記憶體中
    • 它會停用啟動功能
    • 小批量強制使用L1正規化
  6. 哪一種歸一化技術最常用於變壓器架構中,作為批量歸一化的替代方案?
    • 輟學歸一化
    • 層歸一化
    • L2 損失歸一化
    • 漸層裁切
  7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
    • To retrain the model on test data
    • To make all activations exactly zero
    • So a prediction does not depend on which other examples happen to share the batch
    • To eliminate learned gamma and beta
  8. Where is BatchNorm commonly placed within a layer block according to the guide?
    • Only after the final prediction
    • Before the input data are loaded
    • Inside the optimizer update
    • Between the linear transformation and its activation function