基礎知識指南

激活函數

激活函數是每個神經元內部的小型非線性門,讓神經網路學習複雜的彎曲模式,而不僅僅是直線。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 激活函數的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

沒有它們,深度網絡將崩解成單一線性方程式。

深入探討

每個神經元計算其輸入的加權和,但該和本身是線性的。堆疊許多線性層,從數學上講,無論多深,你仍然只有一個大的線性函數。激活函數透過對每個神經元的輸出應用非線性變換來打破這一點,使網路能夠逼近幾乎任何函數。最受歡迎的是 ReLU,它簡單地輸出輸入(如果為正,否則為零);它速度很快,並且避免了舊函數的一些訓練問題。 Sigmoid 和 tanh 將值壓縮到有界範圍內,這在歷史上很常見,但可能會受到深度網路中梯度消失的影響。輸出處使用的 softmax 函數將原始分數轉換為類別的機率分佈。

現實世界的實施

在卷積網路的隱藏層中使用 ReLU,以便它可以學習用於影像辨識的彎曲決策邊界

在最後一層應用 softmax 將分類器的原始分數轉換為總和為 1 的類別機率

在 Transformer 語言模型中選擇 GELU 活化以獲得更平滑的梯度流

當網路中太多神經元死亡並停止回應時切換到 Leaky ReLU

激活函數的未來

ReLU 和它的平滑表親 GELU 如今佔據主導地位,其中 GELU 在 Transformer 中受到青睞,因為它的平滑曲線與其訓練動態完美匹配。研究探索了像 SwiGLU 這樣的學習和門控激活,現在在大型語言模型中很常見,它使用乘法門控來提高表達能力。大趨勢是平滑的門控函數,可大規模提高梯度流和模型品質。雖然奇特的激活經常出現在論文中,但簡單、表現良好的函數往往會在實踐中獲勝,因為它們可以在巨大的模型上進行可靠的訓練。

付諸實踐

為什麼這很重要

  • 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
  • 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
  • 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。

留意

  • 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
  • 基準測試可能看起來很強大,但實際效能卻參差不齊。
  • 忽視數據品質和評估計劃通常會產生脆弱的結果。

後續步驟

  1. 從您需要的結果的簡單語言定義開始。
  2. 在測試之前選擇一種成功指標和一種失敗條件。
  3. 使用代表性資料運行小型試點,而不是完善的演示集。
  4. 記錄激活函數在哪些方面有幫助以及在哪些方面更簡單的方法更好。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Activation Functions quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是啟動功能?

激活函數是每個神經元內部的小型非線性門,讓神經網路學習複雜的彎曲模式,而不僅僅是直線。如果沒有它們,深層網路將崩潰為單一線性方程式。

為什麼僅堆疊線性層無法學習彎曲的決策邊界?

Without nonlinear activations, multiple linear layers compose to another linear mapping.

為什麼當輸入達到極端值時,sigmoid 和 tanh 會讓深度網路的學習停滯?

At their flat extremes, their near-zero gradients weaken the backpropagated signal.

多類別分類器需要跨類別總和為一的輸出值。指南使用哪個函數?

Softmax turns raw class scores into a probability distribution over classes.

指南中提到的「ReLU 死亡」問題是指什麼?

A ReLU stuck receiving negative inputs can keep outputting zero, preventing useful updates through that unit.

當許多 ReLU 神經元保持非活躍時,建議使用哪個變體?

The guide names Leaky ReLU as a response to dead units because its negative side is not flat at zero.