概述
They can ease optimization of deep networks, but they do not guarantee that every gradient remains well behaved or that adding depth improves a task.
深入探讨
2015 年推出的高速公路网络使用受 LSTM 门控启发的学习变换和进位门。门控制转换后的输入贡献多少以及结转多少。最初的研究表明，在其评估的环境中更容易训练非常深的网络。残差网络使用加法快捷方式，在形状允许的情况下使用块计算 F(x) + x。捷径提供了沿着学习到的转换的直接路径；总梯度仍然取决于完整的网络和训练配置。 U-Net 使用编码器到解码器的跳过路径来获取空间信息，而 DenseNet 连接早期的特征图。这些是具有不同操作的相关想法，而不是可互换的架构。测试实际模型，而不是将任何捷径视为通用解决方案。
现实世界的实施
ResNet-50和ResNet-152使用残差捷径来训练极深的图像分类器
Transformer 和大型语言模型将剩余连接包裹在注意力层和前馈层周围
U-Net 跳跃连接将精细的空间细节从编码器传递到解码器，以实现精确的医学图像分割
DenseNet 将每一层连接到所有后续层，鼓励特征重用并缓解梯度流
高速公路网络和跳过连接的未来
跳跃路径在变压器、扩散 U-Net 和卷积网络等架构中仍然很常见。研究检查了标准化、缩放和门控变体，但它们的好处取决于模型和优化设置。声明应确定实际的快捷操作和测量任务，而不是将加法、串联和门控视为相同的机制。有用的比较检查训练稳定性、计算和泛化。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是高速公路网络和跳过连接？
跳过连接创建绕过转换的路径，而高速公路网络使用学习门来调节这些路径。它们可以简化深度网络的优化，但不能保证每个梯度都保持良好的性能，或者增加深度可以改善任务。
非常深的网络很难优化。跳过路径可以提供什么？
捷径可以减轻优化困难，但并不是普遍的保证。
基本残差块计算什么？
残差块将输入 x 添加到变换后的输出 F(x)，因此该层仅学习残差。
是什么启发了高速公路网络中的门控机制？
高速公路网络借用了 LSTM 的学习门的思想来控制信息的转换量和传递量。
在高速公路网络中，变换门 T(x) 控制什么？
输出为 F(x)*T(x) + x*(1 - T(x))，因此 T 决定了变换和承载输入之间的平衡。
哪种现代架构依赖于其子层周围的剩余连接？
作为标准设计，Transformer 在其注意力子层和前馈子层周围放置了剩余连接。