引導式測驗 · 中等 等級

權重初始化測驗

檢查對稱性破壞、扇入和扇出縮放、Xavier 和 He 初始化、ReLU 補償和零偏差。在深度模型中。

相關引導路徑權重初始化
問題 1 的 8

為什麼將所有權重初始化為零是一個致命錯誤?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼將所有權重初始化為零是一個致命錯誤?
    • 所有神經元都接收相同的梯度並且從不分化(對稱性沒有被破壞)
    • 它使訓練太快
    • 導致損失變為負數
    • 它使用了太多內存
  2. 他(Kaiming)的初始化是專門為哪個激活函數設計的?
    • 乙狀結腸
    • ReLU
    • 譚
    • 软最大
  3. 有原則的權重初始化方案的主要目標是什麼?
    • 使所有權重相等
    • 將每個權重設為 1
    • 保持各層激活和梯度的方差大致恆定
    • 消除對數據的需求
  4. Xavier (Glorot) 初始化最適合使用哪些活化的網路?
    • ReLU 及其變體
    • 僅線性激活
    • 根本沒有激活
    • tanh 和 sigmoid
  5. 為什麼 He 初始化使用變異數 2 / fan_in 而不是 1 / fan_in?
    • 為了補償 ReLU,將其輸入的大約一半設為零
    • 無緣無故增大權重
    • 減少參數數量
    • 為了匹配批量大小
  6. 當權重隨機初始化時,偏差通常如何初始化?
    • 非常大的正值
    • 為零,因為對稱性已被隨機權重破壞
    • 與學習率相同的值
    • 大於權重的隨機值
  7. 在 Xavier 初始化下,哪些量決定指南公式中的權重方差?
    • 訓練紀元數和批量大小
    • 單獨輸出類別計數
    • 扇入和扇出
    • 激活的測試準確性
  8. 對於扇入 64 的 ReLU 層,He 公式 2/fan_in 指定什麼變異數?
    • 1/64
    • 1/16
    • 2/64 平方
    • 1/32