引導式測驗 · 中等 等級

層標準化測驗

檢查 LayerNorm 統計量和仿射參數、其批次大小行為、epsilon、RMSNorm 和預範數放置。在深層網絡中。

相關引導路徑層歸一化
問題 1 的 8

層歸一化透過什麼計算其平均值和變異數?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 層歸一化透過什麼計算其平均值和變異數?
    • 跨越單一範例的特徵
    • 在小批量中的所有範例中
    • 跨越網路中的所有權重
    • 跨越多個訓練時期
  2. 為什麼在 Transformer 中層歸一化優於批量歸一化?
    • 它需要非常大的批量大小
    • 它與批量大小無關並處理可變長度序列
    • 它消除了對任何可學習參數的需要
    • 僅在推理期間有效
  3. 可學習參數 gamma 和 beta 讓 LayerNorm 做什麼?
    • 選擇學習率
    • 設定層數
    • 重新縮放並移動歸一化輸出,以便網路可以恢復有用的表示
    • 消除對激活函數的需要
  4. RMSNorm 與標準 LayerNorm 有何不同?
    • 相反,它在批次中標準化
    • 它不使用參數,也沒有除法
    • 它僅適用於圖像
    • 它跳過均值減法,僅除以均方根
  5. 層歸一化主要幫助解決深度網路中的什麼問題?
    • 激活漂移到非常不同的規模,這會破壞訓練的穩定性
    • 磁碟空間不足
    • 選擇正確的資料集
    • 加密模型權重
  6. 為什麼“預規範”放置經常用於非常深的變壓器?
    • 它使模型更小
    • 在每個子層之前進行歸一化使深度堆疊的訓練更容易、更穩定
    • 它消除了注意力機制
    • 它會自動將學習率加倍
  7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
    • To make the batch size larger
    • To replace the learnable scale
    • To avoid division by zero and improve numerical stability
    • To compute the sequence length
  8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
    • It restores the original unnormalized inputs exactly
    • It applies a softmax over features
    • It changes the statistics to be batch-dependent
    • It leaves the normalized values unchanged after the mean-and-variance scaling