概述
完整的人工智能产品还包括数据处理、接口、检索、工具和操作规则。仅凭型号名称并不能描述整个产品。
主要要点
- 将模型与周围的产品分开。
- 区分学习到的参数与训练环境。
- 选择应用的约束和测量误差。
深入探讨
不同模型代表不同类型的关系。线性模型结合加权特征。决策树遵循学习的分裂。神经网络结合跨层的参数化变换。选择取决于问题、可用示例、计算限制以及用户所需的解释类型。训练选择参数值。超参数，如树深度极限或学习率，控制学习过程或模型结构，通常通过验证选择。混淆这两者使实验难以复现。基础模型可以适应多项任务，但这种灵活性并不消除评估要求。提示、微调和检索会改变系统的不同部分。检索文档可能更新现有证据而不改变权重;微调则改变权重，但无法保证当前信息。比较一组固定代表性输入的候选模型。记录错误、延迟、内存和故障处理，而不仅仅是排行榜得分。优先选择满足任务要求的最简单选项。更改模型版本时，重复比较，因为接口可以在行为变化时保持稳定。
04工作示例
选择明确的任务
假设一个团队需要在100毫秒内给文档做标记。在一个示例测试中，模型A在30毫秒时准确率达到92%，模型B在400毫秒时达到94%。
检查两个模型的错误，以及额外的正确标签是否足够重要以改变延迟要求。
如果100毫秒是严格的约束，且模型A符合误差容忍度，那么它就是该特定部署的可行候选。
它显示了什么
虚构的比较显示的是任务特定的选择，而非模型族的排名。
现实世界的实施
以线性模型作为数值预测的基线。
在同一文档标记任务中比较一个小型分类器和生成模型。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录哪些地方有AI模型解释，哪里更简单的方法更好。
资料来源与延伸阅读
- scikit-learn监督学习用户指南
不断探索
常见问题
最大的型号是最好的选择吗？
不一定。更小或更简单的模型可能更能满足任务的速度、内存、可靠性和维护需求。