概述
它可以改善较小工作负载的共享，但配置文件支持和隔离边界取决于 GPU 和配置。
深入探讨
MIG 是随 NVIDIA A100 引入的，并且在选定的后续 GPU 上受支持。 GPU 实例对计算和专用内存资源进行分组，包括通过缓存和内存硬件分配的路径。在 A100 40 GB 上，支持的布局可以提供最多七个小型 GPU 实例或更少的大型 GPU 实例。计算实例可以进一步划分 GPU 实例内部的计算资源，同时共享其内存资源。这与普通软件时间切片不同，但并不意味着不受每个设备级故障或更广泛的主机和服务的干扰。工作负载容量、支持的配置文件和操作限制应在实际 GPU 上进行测试。
现实世界的实施
一家云提供商将一个 A100 拆分为七个实例，以便七个客户每个都获得一个有保证的、独立的 GPU 切片用于推理。
大学研究集群为每个博士生提供一个 10GB MIG 实例用于原型设计，而不是独占整张卡。
推理服务将多个小型语言和视觉模型打包到一个 H100 上，每个模型都位于自己的分区中，具有可预测的延迟。
Kubernetes 集群将 MIG 实例宣传为可调度资源，因此 Pod 会像任何其他资源一样请求“nvidia.com/mig-1g.5gb”。
多实例 GPU 分区的未来
随着 GPU 增长到 80GB、141GB 甚至更高，分区变得更具吸引力，因为单个模型很少需要整张卡进行推理。期待更紧密的 Kubernetes 和云集成、无需耗尽节点的动态重新分区以及更细粒度的配置文件。竞争厂商正在追求类似的 SR-IOV 式 GPU 虚拟化，无服务器推理平台越来越依赖分区来密集打包许多模型并减少闲置浪费。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是多实例 GPU 分区？
NVIDIA 多实例 GPU 将支持的 GPU 划分为分配了计算和内存资源的实例。它可以改善较小工作负载的共享，但配置文件支持和隔离边界取决于 GPU 和配置。
哪个资源边界将单独的 MIG GPU 实例与软件时间切片区分开来？
MIG分配硬件资源切片。共享GPU实例中的计算实例具有不同的边界，并且设备级故障并不能普遍消除。
MIG 首次在哪种 NVIDIA 架构上引入？
MIG 首次推出基于 Ampere 的 A100，并在 H100 和后来的数据中心 GPU 上继续发展。
在使用支持的小型实例配置文件的 A100 40 GB 上，布局可以提供多少个 GPU 实例？
A100 支持最多七个 GPU 实例的布局。最大计数和配置文件不应推广到所有 GPU 型号。
在“1g.5gb”这样的 MIG 配置文件中，“5gb”代表什么？
该配置文件对分配给实例的计算切片 (1g) 和专用内存 (5GB) 进行编码。
MIG 特别适合哪种工作负载？
当许多小型、孤立的工作负载（例如推理）共享一张卡并保证服务质量时，MIG 就会大放异彩。