概述
其有用性取决于相关性、测量质量、权限和预期任务的覆盖范围。更多记录不会自动纠正系统错误或缺失的群体。
主要要点
- 定义示例的单位。
- 仅使用预测时可用的信息。
- 跟踪数据来源、缺失和亚组覆盖范围。
深入探讨
首先定义一个示例代表什么。一行可能描述一个客户、一笔交易、一张照片或时间序列中的一个时刻。这些单位决定了重复项、标签和评估分割的工作方式。一台设备的十次测量不一定是十个独立的设备。特征是模型可用的输入。标签是监督学习中使用的目标结果。检查每个功能何时可用：客户离开后记录的取消原因无法提前准确预测离开情况。即使该领域看起来具有高度可预测性，这也是一种泄漏形式。检查缺失值、注释不一致、异常范围以及收集方法的变化。缺失的信息可以承载意义；用零替换每个缺失值可能会将未知量与实际零混为一谈。记录处理方法并在代表性示例上进行测试。记录数据集的出处和访问规则。单独的公共 URL 并不能建立为每个目的重复使用每个项目的权限。仅收集任务所需的信息并定义保留和删除程序。对组或条件进行单独评估，否则误差会在总体平均值内消失。
04工作示例
查找取消数据集中的泄漏
想象一下包含注册日期、每月使用情况、取消日期和取消原因的记录。
要预测六月初的取消，请冻结该日期的所有输入。删除预测时间之后记录的原因和日期。
在早期的时间段进行训练，并在稍后的未受影响的时间段进行测试。比较有和没有泄漏字段的结果。
它显示了什么
这个假设的设计练习在令人满意的分数成为部署决策之前识别出无效的捷径。
现实世界的实施
在分割识别数据集之前，分离同一对象的多张照片。
标记超出物理合理范围的传感器读数以供审查。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录人工智能和数据在哪些方面有帮助以及在哪些方面更简单的方法更好。
资料来源与延伸阅读
- Google数据集特征
不断探索
常见问题
大数据集仍然很差吗？
是的。重复、标签错误、不相关或系统不完整的记录可能会使大型数据集不适合预期任务。