概述
损失函数是告诉模型其预测有多么错误的单个数字，将模糊的目标转变为数学可以优化的目标。选择正确的损失会影响模型实际学习的内容。
损失函数位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。
深入探讨
每个经过训练的模型都需要对失败进行精确的定义，而这正是损失函数所提供的。它将模型的预测与真实答案进行比较并输出一个数字：越高意味着越差。训练就是最小化这个数字的过程。损失的选择不是表面的。对于回归任务，均方误差通过对差值进行平方来严重惩罚大误差，而平均绝对误差则更均匀地处理所有误差并抵制异常值。对于分类，交叉熵损失衡量预测的概率分布与真实标签的距离，严重惩罚自信的错误答案。选择与你的目标不匹配的损失可能会使模型在技术上优化错误的东西，因此损失函数有效地编码了你关心的东西。
技术洞察
交叉熵是分类的主力，源自信息论：它使用模型的预测概率来测量编码真实标签所需的额外位。因为当自信的预测被证明是错误时，它会急剧增长，因此它的梯度会促使模型很难纠正过度自信的错误。损失函数必须是可微的（或接近可微的），因为反向传播需要它们的梯度。这一要求正是使用平滑代理而不是原始的、不可微分的指标（如准确性）的原因。
掌握损失函数
损失函数是告诉模型其预测有多么错误的单个数字，将模糊的目标转变为数学可以优化的目标。选择正确的损失会影响模型实际学习的内容。损失函数位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。为了建立深入的理解，请将损失函数视为一种操作模型，而不是单个特征：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用损失函数的强大团队首先构建强大的概念模型，然后将这些模型映射到实际的生产约束。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
它可以帮助您将清晰的技术声明与营销语言分开。同时，不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
它可以帮助您将清晰的技术声明与营销语言分开。
它可以帮助您将清晰的技术声明与营销语言分开。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
在花费金钱或时间之前，您可以提出更好的实施问题。
在花费金钱或时间之前，您可以提出更好的实施问题。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
具有共同理解的团队可以做出更好的产品、政策和学习决策。
具有共同理解的团队可以做出更好的产品、政策和学习决策。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
使用交叉熵损失来训练电子邮件垃圾邮件分类器，以惩罚有信心的错误分类
选择房价预测的平均绝对误差，这样一些极端的豪宅就不会主导训练
应用对比损失，以便面部识别模型将同一个人的图像组合在一起
设计奖励模型损失以引导聊天机器人做出更有帮助和诚实的回应
实施模式
实践中的损失函数
使用交叉熵损失来训练电子邮件垃圾邮件分类器，以惩罚有信心的错误分类。
使用交叉熵损失来训练电子邮件垃圾邮件分类器，以惩罚确信的错误分类。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会得到更好的结果。
实践中的损失函数
选择房价预测的平均绝对误差，这样一些极端的豪宅就不会主导训练。
选择房价预测的平均绝对误差，这样一些极端的豪宅就不会主导训练。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
实践中的损失函数
应用对比损失，使人脸识别模型将同一个人的图像汇集在一起。
应用对比损失，使人脸识别模型将同一个人的图像汇集在一起。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
实践中的损失函数
设计一个奖励模型损失来引导聊天机器人做出更有帮助和诚实的回应。
设计奖励模型损失以引导聊天机器人做出更有帮助和诚实的响应当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
从您需要的结果的简单语言定义开始。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在测试之前选择一种成功指标和一种失败条件。
在测试之前选择一种成功指标和一种失败条件。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
使用代表性数据运行小型试点，而不是完善的演示集。
使用代表性数据运行小型试点，而不是完善的演示集。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
记录损失函数在哪些方面有帮助以及在哪些方面更简单的方法更好。
记录损失函数在哪些方面有帮助以及在哪些方面更简单的方法更好。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。