概述
没有它们，深度网络将崩溃成单一线性方程。
深入探讨
每个神经元计算其输入的加权和，但该和本身是线性的。堆叠许多线性层，从数学上讲，无论多深，你仍然只有一个大的线性函数。激活函数通过对每个神经元的输出应用非线性变换来打破这一点，使网络能够逼近几乎任何函数。最流行的是 ReLU，它简单地输出输入（如果为正，否则为零）；它速度很快，并且避免了旧函数的一些训练问题。 Sigmoid 和 tanh 将值压缩到有界范围内，这在历史上很常见，但可能会受到深度网络中梯度消失的影响。输出处使用的 softmax 函数将原始分数转换为类别的概率分布。
现实世界的实施
在卷积网络的隐藏层中使用 ReLU，以便它可以学习用于图像识别的弯曲决策边界
在最后一层应用 softmax 将分类器的原始分数转换为总和为 1 的类概率
在 Transformer 语言模型中选择 GELU 激活以获得更平滑的梯度流
当网络中太多神经元死亡并停止响应时切换到 Leaky ReLU
激活函数的未来
ReLU 和它的平滑表亲 GELU 如今占据主导地位，其中 GELU 在 Transformer 中受到青睐，因为它的平滑曲线与其训练动态完美匹配。研究探索了像 SwiGLU 这样的学习和门控激活，现在在大型语言模型中很常见，它使用乘法门控来提高表达能力。大趋势是平滑的门控函数，可大规模提高梯度流和模型质量。虽然奇特的激活经常出现在论文中，但简单、表现良好的函数往往会在实践中获胜，因为它们可以在巨大的模型上进行可靠的训练。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录激活函数在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
常见问题
什么是激活功能？
激活函数是每个神经元内部的小型非线性门，让神经网络学习复杂的弯曲模式，而不仅仅是直线。如果没有它们，深层网络将崩溃为单个线性方程。
Why can stacking only linear layers not learn a curved decision boundary?
Without nonlinear activations, multiple linear layers compose to another linear mapping.
Why can sigmoid and tanh stall learning in deep networks when inputs reach their extremes?
At their flat extremes, their near-zero gradients weaken the backpropagated signal.
A multiclass classifier needs output values that sum to one across classes. Which function does the guide use?
Softmax turns raw class scores into a probability distribution over classes.
What does the “dying ReLU” problem mean in the guide?
A ReLU stuck receiving negative inputs can keep outputting zero, preventing useful updates through that unit.
Which variant is suggested when many ReLU units stay inactive?
The guide names Leaky ReLU as a response to dead units because its negative side is not flat at zero.