引導式測驗 · 中等 等級
層標準化測驗
檢查 LayerNorm 統計量和仿射參數、其批次大小行為、epsilon、RMSNorm 和預範數放置。在深層網絡中。
問題 1 的 8
層歸一化透過什麼計算其平均值和變異數?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 層歸一化透過什麼計算其平均值和變異數?
- 跨越單一範例的特徵
- 在小批量中的所有範例中
- 跨越網路中的所有權重
- 跨越多個訓練時期
- 為什麼在 Transformer 中層歸一化優於批量歸一化?
- 它需要非常大的批量大小
- 它與批量大小無關並處理可變長度序列
- 它消除了對任何可學習參數的需要
- 僅在推理期間有效
- 可學習參數 gamma 和 beta 讓 LayerNorm 做什麼?
- 選擇學習率
- 設定層數
- 重新縮放並移動歸一化輸出,以便網路可以恢復有用的表示
- 消除對激活函數的需要
- RMSNorm 與標準 LayerNorm 有何不同?
- 相反,它在批次中標準化
- 它不使用參數,也沒有除法
- 它僅適用於圖像
- 它跳過均值減法,僅除以均方根
- 層歸一化主要幫助解決深度網路中的什麼問題?
- 激活漂移到非常不同的規模,這會破壞訓練的穩定性
- 磁碟空間不足
- 選擇正確的資料集
- 加密模型權重
- 為什麼“預規範”放置經常用於非常深的變壓器?
- 它使模型更小
- 在每個子層之前進行歸一化使深度堆疊的訓練更容易、更穩定
- 它消除了注意力機制
- 它會自動將學習率加倍
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling