反向传播
反向传播是一种算法，它可以让神经网络通过有效计算每个权重对错误的贡献程度来从错误中学习。
概述
It is the engine behind almost all modern deep learning training.
深入探讨
当神经网络进行预测时，它会产生一些由损失函数测量的误差。反向传播回答了一个关键问题：数百万个权重中的每一个应该如何改变以减少误差？它通过应用微积分中的链式法则，从输出层向后推向输入层来实现这一点。误差信号通过网络传回，算法在每一层计算梯度、每个权重应该移动的方向和数量。 Rumelhart、Hinton 和 Williams 在 1986 年推广的关键见解是中间结果可以重复使用，从而提高计算效率。如果没有反向传播，训练具有数十亿参数的深度网络在计算上将是毫无希望的。
技术洞察
反向传播分两次进行。前向传递计算预测并保存中间激活。向后传递应用链式法则：它逐层乘以局部导数，传播相对于每个权重的损失梯度。至关重要的是，它缓存并重用偏导数，而不是重新计算它们，因此成本与一次前向传递大致成正比。然后将得到的梯度交给梯度下降等优化器来更新权重。
战略影响
更清晰的判决
它可以帮助您将清晰的技术声明与营销语言分开。
成本与预算
在花费金钱或时间之前，您可以提出更好的实施问题。
团队与工作流程
具有共同理解的团队可以做出更好的产品、政策和学习决策。
反向传播的未来
反向传播仍然是深度学习的支柱，但研究人员积极探索其局限性。它的内存成本随着网络深度的增加而增加，从而激发了诸如针对大型模型的梯度检查点之类的技巧。受生物学启发的替代方案，例如前向学习和反馈对齐，旨在消除反向传播对对称权重和全局误差信号的依赖。目前，还没有任何方法能够在规模上达到其效率，因此预计反向传播将在数年内为前沿模型提供动力，而这些替代方案在研究实验室中已经成熟。
现实世界的实施
训练图像分类器，使其在每批照片后逐渐调整过滤器以识别猫和狗
通过反向传播预测下一个单词的误差，对公司文档的大型语言模型进行微调
教授自动驾驶汽车的视觉网络以减少模拟过程中的转向角预测误差
更新推荐模型的嵌入，以便更好地预测用户将点击哪些电影
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
在测试之前选择一种成功指标和一种失败条件。
使用代表性数据运行小型试点，而不是完善的演示集。
记录反向传播在哪些方面有帮助以及哪些更简单的方法更好。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Backpropagation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Backpropagation?
反向传播是一种算法，它可以让神经网络通过有效计算每个权重对错误的贡献程度来从错误中学习。它是几乎所有现代深度学习训练背后的引擎。
反向传播的主要目的是什么？
反向传播计算每个权重的损失梯度，告诉优化器如何调整它们以减少误差。
哪个数学规则是反向传播的核心？
反向传播应用链式法则来组合跨层的局部导数，通过网络向后传播误差梯度。
为什么反向传播被认为计算效率高？
通过缓存前向传递的偏导数和激活，反向传播避免了冗余计算，使成本保持接近单个前向传递的成本。
反向传播按什么顺序计算梯度？
这个名字说明了一切：误差向后传播，从输出开始向输入移动，因此每一层的梯度取决于它后面的层。
反向传播会产生什么供优化器使用？
反向传播输出梯度，梯度下降等优化器使用梯度来更新降低损失的方向的权重。