概述
层将输入转换为输出，训练调整这些参数以提高所选目标的性能。
主要要点
- 权重和偏差是学习参数；激活函数转换中间结果。
- 反向传播计算优化器使用的梯度。
- 内部激活并不自动成为概率或解释。
深入探讨
基本的人工神经元使用权重组合输入值，添加偏差，并应用激活函数。权重控制每个输入贡献的强度。偏差会改变结果。非线性激活让层能够表示一堆纯线性操作无法表示的关系。例如，ReLU 激活对于负输入返回零，并保持正输入不变。网络可以在不同层使用不同的激活。选择适合任务的输出层：数字预测的解释方式与可能类别的分数不同。在训练期间，损失函数将输出与期望结果进行比较。反向传播使用链式法则来计算参数如何影响损失。然后优化器使用该信息来更新参数。反向传播计算梯度；并不能保证模型能够找到最佳解决方案或很好地概括。大脑的类比是有限的。人工神经元是数学抽象，成功的网络并不是类人思维的证据。更大的网络可以对复杂的关系进行建模，但运行成本也更高，适合不相关的模式，或者在条件发生变化时失败。将其与更简单的基线进行比较，并在训练数据之外的示例上进行测试。
04工作示例
计算一个人工神经元
使用两个输入 0.8 和 0.5，权重分别为 0.6 和 -0.4，偏差为 0.1。
加权和为 (0.8 × 0.6) + (0.5 × -0.4) + 0.1 = 0.38。
ReLU 返回 0.38。如果第二个输入更改为 1.5，则总和变为 -0.02，并且 ReLU 返回 0。
它显示了什么
这个说明性计算是网络内部的一种转换。值 0.38 是一个激活值，而不是 38% 的置信度声明。
现实世界的实施
视觉网络将像素值转换为可用于图像分类的特征。
语言模型将标记表示转换为用于生成后续标记的分数。
预测网络将最近的观察结果映射到必须根据未来结果进行评估的数值估计。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录神经网络在哪些方面有帮助以及在哪些方面更简单的方法更好。
资料来源与延伸阅读
- Google激活函数
- Google使用反向传播进行训练
不断探索
常见问题
为什么神经网络需要激活函数？
非线性激活函数让堆叠层表示非线性关系。仅堆叠线性运算仍会产生线性变换。
神经网络越大越好吗？
不会。性能取决于任务、数据、培训、评估和部署约束。更多参数会增加成本，并且不能保证输出更可靠。