引導式測驗 · 硬 等級
批量歸一化測驗
檢查批量統計數據、仿射尺度和平移、運行平均值、小批量不穩定性以及 BatchNorm 與 LayerNorm 的不同之處。
問題 1 的 8
批量歸一化歸一化什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 批量歸一化歸一化什麼?
- 跨當前小批量中的範例的層的輸入
- 網路的最終輸出標籤
- 隨著時間的推移學習率表
- 訓練資料集的大小
- 為什麼批量歸一化包括可學習參數 gamma 和 beta?
- 增加資料集的大小
- 讓網路擴展並移動標準化值,保留代表性能力
- 訓練過程中隨機丟棄神經元
- 計算損失函數
- 批量標準化的常見實際好處是什麼?
- 它消除了對任何訓練資料的需要
- 它保證模型不會過度擬合
- 它允許更高的學習率和更快、更穩定的收斂
- 它消除了對激活函數的需要
- 在推理時(預測新資料),大量標準化使用什麼統計資料?
- 僅當前單一輸入的平均值和方差
- 每次隨機產生統計數據
- 預先計算的測試集的統計數據
- 訓練期間累積的平均值和變異數的運行平均值
- 為什麼批量歸一化對於非常小的批量大小表現不佳?
- 批量統計數據變得嘈雜且對真實分佈的估計變得不可靠
- 小批量使模型太大而無法容納在記憶體中
- 它會停用啟動功能
- 小批量強制使用L1正規化
- 哪一種歸一化技術最常用於變壓器架構中,作為批量歸一化的替代方案?
- 輟學歸一化
- 層歸一化
- L2 損失歸一化
- 漸層裁切
- Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
- To retrain the model on test data
- To make all activations exactly zero
- So a prediction does not depend on which other examples happen to share the batch
- To eliminate learned gamma and beta
- Where is BatchNorm commonly placed within a layer block according to the guide?
- Only after the final prediction
- Before the input data are loaded
- Inside the optimizer update
- Between the linear transformation and its activation function