引導式測驗 · 中等 等級
權重初始化測驗
檢查對稱性破壞、扇入和扇出縮放、Xavier 和 He 初始化、ReLU 補償和零偏差。在深度模型中。
問題 1 的 8
為什麼將所有權重初始化為零是一個致命錯誤?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼將所有權重初始化為零是一個致命錯誤?
- 所有神經元都接收相同的梯度並且從不分化(對稱性沒有被破壞)
- 它使訓練太快
- 導致損失變為負數
- 它使用了太多內存
- 他(Kaiming)的初始化是專門為哪個激活函數設計的?
- 乙狀結腸
- ReLU
- 譚
- 软最大
- 有原則的權重初始化方案的主要目標是什麼?
- 使所有權重相等
- 將每個權重設為 1
- 保持各層激活和梯度的方差大致恆定
- 消除對數據的需求
- Xavier (Glorot) 初始化最適合使用哪些活化的網路?
- ReLU 及其變體
- 僅線性激活
- 根本沒有激活
- tanh 和 sigmoid
- 為什麼 He 初始化使用變異數 2 / fan_in 而不是 1 / fan_in?
- 為了補償 ReLU,將其輸入的大約一半設為零
- 無緣無故增大權重
- 減少參數數量
- 為了匹配批量大小
- 當權重隨機初始化時,偏差通常如何初始化?
- 非常大的正值
- 為零,因為對稱性已被隨機權重破壞
- 與學習率相同的值
- 大於權重的隨機值
- 在 Xavier 初始化下,哪些量決定指南公式中的權重方差?
- 訓練紀元數和批量大小
- 單獨輸出類別計數
- 扇入和扇出
- 激活的測試準確性
- 對於扇入 64 的 ReLU 層,He 公式 2/fan_in 指定什麼變異數?
- 1/64
- 1/16
- 2/64 平方
- 1/32