概述
这很重要，因为它可以让团队像扩展现代云软件一样扩展机器学习。
深入探讨
Kubeflow 最初是作为在 Kubernetes 上运行 TensorFlow 的一种方式 Google 开始的，然后发展成为一个更广泛的平台。其核心思想是机器学习工作流程的每个步骤（例如数据准备、训练、评估和服务）作为 Kubernetes Pod 内的容器化组件运行。 Kubeflow Pipelines (KFP) 允许您将这些步骤表达为有向无环图 (DAG)：每个节点都是一个独立的容器，边定义数据依赖性。由于 Kubernetes 处理调度、扩展和资源分配，因此管道可以请求 GPU 进行训练并在之后释放它们。其他组件包括用于超参数调整的 Katib、用于模型服务的 KServe 和笔记本服务器。回报是可重复性、跨云的可移植性以及独立扩展各个步骤的能力。
现实世界的实施
一家零售商定义了一个 Kubeflow 流水线，用于提取销售数据、训练预测模型、对其进行评估，并将获得批准的工件交付给服务系统。
一家研究实验室使用 Katib，根据声明的指标和资源限制来比较超参数试验。
团队会记录数据、组件和环境版本，以便能够调查欺诈模型的训练运行情况。
一家初创公司在 Kubeflow 笔记本中进行原型设计，并将经过测试的逻辑打包到流水线组件中。
Kubeflow 和 ML Pipeline Orchestration 的未来
Kubeflow 用户应选择 Pipelines、训练工具和提供服务的集成版本的兼容版本，然后测试实际的部署。可复用的组件、显式的工件契约和资源设置有助于团队管理复杂的工单。可移植性和可重复性仍然取决于数据访问、环境和基础设施配置；仅靠流水线图并不能保证结果完全相同。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是 Kubeflow 和 ML Pipeline Orchestration？
Kubeflow 是一个开源工具包，可在 Kubernetes 上运行机器学习工作流程，将模型训练和部署转变为可重复的容器化管道。这很重要，因为它可以让团队像扩展现代云软件一样扩展机器学习。
Kubeflow 在什么底层平台上运行机器学习工作流程？
Kubeflow 是专门为在 Kubernetes 上运行 ML 工作流程而构建的，利用其调度和扩展功能。
在 Kubeflow Pipelines 中，工作流程的每个步骤通常是如何打包的？
每个管道步骤都是一个独立的容器，在 Kubernetes Pod 内运行，输入和输出作为工件传递。
Kubeflow 管道使用什么结构来表达步骤的顺序和依赖关系？
管道表示为 DAG，其中节点是组件，边表示它们之间的数据依赖关系。
哪个 Kubeflow 组件专用于自动超参数调整？
Katib 是 Kubeflow 的超参数优化和神经架构搜索组件，可并行运行许多试验。
在启用 KFP 缓存的情况下，为什么重新运行可能会重用先前的组件结果？
缓存可以重用符合条件的先前结果。可变的外部数据应在跟踪的输入中进行版本控制，或者在禁用缓存的情况下进行处理。