概述
降维将数据从许多列（特征）缩减到少数，同时保留重要的结构。它可以对抗“维数灾难”，加快模型速度，并让您真正以 2D 或 3D 方式可视化复杂数据。
降维位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。
深入探讨
真实的数据集通常具有数百或数千个特征：图像中的每个像素、词汇中的每个单词、机器上的每个传感器。在这样的高维空间中，数据点变得稀疏且相距较远，距离测量变得不可靠，并且模型往往会过度拟合噪声。这就是维度的诅咒。降维将数据映射到更少的维度，同时保留有意义的关系。 PCA 通过寻找最大方差的方向来线性地实现这一点。 t-SNE 和 UMAP 是非线性的，擅长揭示集群以进行可视化。降低维度可以消除冗余或噪声特征，减少内存和计算量，并且经常提高下游模型的准确性，因为混淆它的不相关信号较少。
技术洞察
PCA 的工作原理是计算特征的协方差并查找沿着最大方差方向指向的特征向量（“主成分”）。您保留最前面的几个组件并将数据投影到它们上，丢弃主要是噪声的低方差方向。相反，t-SNE 和 UMAP 对邻居关系进行建模：它们尝试将高维中接近的点保持在低维地图中接近的点。 UMAP 构建了附近点的图，这使得它比 t-SNE 更快，并且能够更好地保留更广泛的全局结构。
掌握降维
降维将数据从许多列（特征）缩减到少数，同时保留重要的结构。它可以对抗“维数灾难”，加快模型速度，并让您真正以 2D 或 3D 方式可视化复杂数据。降维位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。为了建立深入的理解，请将降维视为一种操作模型，而不是单个功能：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用降维的强大团队首先构建强大的概念模型，然后将这些模型映射到实际的生产约束。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
它可以帮助您将清晰的技术声明与营销语言分开。同时，不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
它可以帮助您将清晰的技术声明与营销语言分开。
它可以帮助您将清晰的技术声明与营销语言分开。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
在花费金钱或时间之前，您可以提出更好的实施问题。
在花费金钱或时间之前，您可以提出更好的实施问题。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
具有共同理解的团队可以做出更好的产品、政策和学习决策。
具有共同理解的团队可以做出更好的产品、政策和学习决策。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
使用 UMAP 以 2D 形式绘制语言模型中的单词或句子嵌入，以查看模型将哪些概念组合在一起
在对疾病亚型进行聚类之前，将每个患者的数千个基因表达测量值压缩为几个组成部分
在将图像特征输入分类器之前减少图像特征，以便训练速度更快且不易过度拟合
将数百个指标的客户行为可视化为二维散点图，以发现不同的细分市场
实施模式
实践中的降维
使用 UMAP 以 2D 形式绘制语言模型中的单词或句子嵌入，以查看模型将哪些概念分组在一起。
使用 UMAP 以 2D 形式绘制语言模型中的单词或句子嵌入，以查看模型将哪些概念组合在一起。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中的降维
在对疾病亚型进行聚类之前，将每个患者的数千个基因表达测量结果压缩为几个组成部分。
在对疾病亚型进行聚类之前，将每个患者的数千个基因表达测量值压缩为几个组成部分当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
实践中的降维
在将图像特征输入分类器之前减少图像特征，以便训练速度更快且不易过度拟合。
在将图像输入分类器之前减少图像特征，以便训练速度更快且不易过度拟合。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中的降维
将数百个指标中的客户行为可视化为二维散点图，以发现不同的细分市场。
将数百个指标中的客户行为可视化为 2D 散点图，以发现不同的细分市场 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
从您需要的结果的简单语言定义开始。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在测试之前选择一种成功指标和一种失败条件。
在测试之前选择一种成功指标和一种失败条件。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
使用代表性数据运行小型试点，而不是完善的演示集。
使用代表性数据运行小型试点，而不是完善的演示集。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
记录降维在哪些方面有帮助以及哪些更简单的方法更好。
记录降维在哪些方面有帮助以及哪些更简单的方法更好。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。