概述
沒有它們,深度網絡將崩解成單一線性方程式。
深入探討
每個神經元計算其輸入的加權和,但該和本身是線性的。堆疊許多線性層,從數學上講,無論多深,你仍然只有一個大的線性函數。激活函數透過對每個神經元的輸出應用非線性變換來打破這一點,使網路能夠逼近幾乎任何函數。最受歡迎的是 ReLU,它簡單地輸出輸入(如果為正,否則為零);它速度很快,並且避免了舊函數的一些訓練問題。 Sigmoid 和 tanh 將值壓縮到有界範圍內,這在歷史上很常見,但可能會受到深度網路中梯度消失的影響。輸出處使用的 softmax 函數將原始分數轉換為類別的機率分佈。
現實世界的實施
在卷積網路的隱藏層中使用 ReLU,以便它可以學習用於影像辨識的彎曲決策邊界
在最後一層應用 softmax 將分類器的原始分數轉換為總和為 1 的類別機率
在 Transformer 語言模型中選擇 GELU 活化以獲得更平滑的梯度流
當網路中太多神經元死亡並停止回應時切換到 Leaky ReLU
激活函數的未來
ReLU 和它的平滑表親 GELU 如今佔據主導地位,其中 GELU 在 Transformer 中受到青睞,因為它的平滑曲線與其訓練動態完美匹配。研究探索了像 SwiGLU 這樣的學習和門控激活,現在在大型語言模型中很常見,它使用乘法門控來提高表達能力。大趨勢是平滑的門控函數,可大規模提高梯度流和模型品質。雖然奇特的激活經常出現在論文中,但簡單、表現良好的函數往往會在實踐中獲勝,因為它們可以在巨大的模型上進行可靠的訓練。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄激活函數在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是啟動功能?
激活函數是每個神經元內部的小型非線性門,讓神經網路學習複雜的彎曲模式,而不僅僅是直線。如果沒有它們,深層網路將崩潰為單一線性方程式。
為什麼僅堆疊線性層無法學習彎曲的決策邊界?
Without nonlinear activations, multiple linear layers compose to another linear mapping.
為什麼當輸入達到極端值時,sigmoid 和 tanh 會讓深度網路的學習停滯?
At their flat extremes, their near-zero gradients weaken the backpropagated signal.
多類別分類器需要跨類別總和為一的輸出值。指南使用哪個函數?
Softmax turns raw class scores into a probability distribution over classes.
指南中提到的「ReLU 死亡」問題是指什麼?
A ReLU stuck receiving negative inputs can keep outputting zero, preventing useful updates through that unit.
當許多 ReLU 神經元保持非活躍時,建議使用哪個變體?
The guide names Leaky ReLU as a response to dead units because its negative side is not flat at zero.