概述
有用的模型必须对新输入执行预期任务。记住一个数据集或进行令人印象深刻的演示并不足以证明这种能力。
主要要点
- 在架构之前定义任务。
- 与简单的基线进行比较。
- 评估故障和下游后果。
深入探讨
从具体的预测或决策支持任务开始。预测一个数字就是回归；分配类别就是分类。对未标记的示例进行分组就是聚类。生成新的文本或图像有不同的目标和评估方法。在定义输出之前避免选择流行的架构。实用的工作流程包括数据收集、准备、模型拟合、评估、部署和监控。任何阶段都可能出现错误。当生产服务更改单位或交换两个输入列时，在格式良好的记录上训练的模型可能会失败。在拟合复杂模型之前建立基线。对于预测，先前的值可能是有用的基线；对于分类，最常见的类别提供了最低限度的比较。基线揭示了额外的复杂性是否提供了有用的信息。使用训练示例来拟合参数并使用单独的示例来评估性能。使最终测试集免于重复调整。选择反映错误后果的指标，并检查实际的失败案例。平均性能良好的系统在罕见但重要的情况下可能仍然无法使用。
04工作示例
在增加复杂性之前打破基线
构建一个包含 80 条普通消息和 20 条紧急消息的玩具数据集。总是预测普通的准确率达到 80%。
如果得分 82% 的模型仍然错过了最紧急的消息，那么它可能没有什么价值。
计算正确识别的紧急消息和错误升级的普通消息。决定哪种权衡符合实际工作流程。
它显示了什么
这些说明性计数显示了基线和特定于任务的指标如何使评估提供更多信息。
现实世界的实施
根据历史观察预测每日需求。
使用带标签的示例将文档分类到预定义的类别中。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录机器学习基础知识在哪些方面有帮助以及在哪些方面更简单的方法更好。
资料来源与延伸阅读
- Google机器学习简介
不断探索
常见问题
每个人工智能系统都使用机器学习吗？
不会。有些系统依赖于明确的规则、搜索、优化或学习和编程组件的组合。