概述
常见任务包括对相似记录进行聚类以及将高维测量压缩为更少的维度。发现的模式仍然需要解释和验证。
主要要点
- 未标记的模式不是不言自明的。
- 特征和缩放会影响相似性。
- 验证稳定性和实际用途。
深入探讨
聚类根据数学相似性规则对示例进行分组。该规则取决于特征、它们的缩放、算法及其设置。根据购买频率找到的一组可能与根据产品偏好找到的一组不同。没有自动保证任何一个都对应于有用的客户类别。降维将测量值的集合转换为更小的表示形式。它可以帮助可视化、压缩或其他模型。二维图片会丢弃信息，因此图中的距离和明显间隙不应被视为有关原始数据的不容置疑的事实。通过改变合理的预处理选择或对不同的记录进行采样来评估稳定性。检查代表性和边缘示例。内部分数可以比较数学分组，但必须根据真实目的来判断有用性。如果部分数据存在标签，它们可以提供额外的外部检查。不寻常的例子可能是重要的、错误的，或者仅仅是与大多数不同。异常分数是调查的信号，而不是不当行为的证据或诊断。在部署无人监督的检测器之前确定警报发生后的情况。
04工作示例
查看特征尺度如何改变相似度
想象一下两条记录相差 1 次访问和 1,000 美元的支出。原始欧几里得距离主要由美元差异决定。
使用参考数据集上拟合的统计数据缩放每个特征，然后再次比较邻居。
在命名之前检查生成的组是否稳定且对于规定的任务有用。
它显示了什么
这个构建的示例解释了建模选择；它没有建立通用的聚类方法。
现实世界的实施
将文件分组供图书管理员审查和命名。
可视化传感器测量结果，同时保留原始尺寸。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录无监督学习在哪些方面有帮助以及哪些更简单的方法更好。
资料来源与延伸阅读
- scikit-learn无监督学习
不断探索
常见问题
无监督学习能否发现真正的类别？
它在特定的假设下找到结构。结果组可能对应也可能不对应于对应用程序有意义的类别。