Многоэкземплярное разбиение графического процессора
Multi-Instance GPU (MIG) — это технология NVIDIA, которая делит один физический графический процессор на несколько изолированных аппаратных разделов.
Обзор
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
Глубокое погружение
Представленная в NVIDIA A100 (Ampere) и продолженная в H100 и более новых графических процессорах для центров обработки данных, MIG разделяет графический процессор на семь независимых экземпляров. В отличие от программного разделения времени, MIG обеспечивает настоящую аппаратную изоляцию: каждый экземпляр получает свои собственные выделенные потоковые мультипроцессоры (SM), срезы кэша L2, контроллеры памяти и фиксированный срез памяти с высокой пропускной способностью. A100 с 40 ГБ можно разделить на семь экземпляров по 5 ГБ или меньше экземпляров большего размера. Каждый раздел ведет себя как отдельный графический процессор меньшего размера, поэтому шумное или аварийное задание в одном экземпляре не может привести к истощению или повреждению другого. Такое гарантированное качество обслуживания делает MIG идеальным для обслуживания логических выводов, многопользовательских кластеров и сред разработки, где многие пользователи используют одну карту.
Техническая информация
MIG работает путем физического закрытия внутренней перемычки графического процессора, поэтому каждый экземпляр имеет фиксированный путь к своему собственному срезу памяти и SM. NVIDIA определяет профили как дроби, например от 1 г, 5 ГБ (один вычислительный срез, 5 ГБ) до 7,40 ГБ. Экземпляр графического процессора резервирует память и SM; внутри него вычислительный экземпляр дополнительно подразделяет SM. Поскольку разделы поддерживаются аппаратно, сбои, ошибки ECC и пропускная способность памяти остаются ограниченными одним экземпляром.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее многоэкземплярного разделения графических процессоров
По мере роста графических процессоров до 80 ГБ, 141 ГБ и более разделение становится более привлекательным, поскольку отдельным моделям редко требуется целая карта для вывода. Ожидайте более тесной интеграции Kubernetes и облака, динамического перераспределения без опорожнения узла и более детальных профилей. Конкурирующие поставщики реализуют аналогичную виртуализацию графических процессоров в стиле SR-IOV, а бессерверные платформы вывода все чаще полагаются на секционирование для плотной упаковки множества моделей и сокращения ненужных потерь.
Реальная реализация
Поставщик облачных услуг разбивает один A100 на семь экземпляров, поэтому каждый из семи клиентов получает гарантированный изолированный фрагмент графического процессора для вывода.
Университетский исследовательский кластер предоставляет каждому аспиранту экземпляр MIG объемом 10 ГБ для прототипирования вместо того, чтобы монополизировать целые карты.
Служба вывода упаковывает несколько небольших моделей языка и видения в один H100, каждая в своем собственном разделе с предсказуемой задержкой.
Кластер Kubernetes рекламирует экземпляры MIG как планируемые ресурсы, поэтому модули запрашивают nvidia.com/mig-1g.5gb, как и любой другой ресурс.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Многозадачное обучение
Часто задаваемые вопросы
What is Multi-Instance GPU Partitioning?
Multi-Instance GPU (MIG) — это технология NVIDIA, которая делит один физический графический процессор на несколько изолированных аппаратных разделов. Это важно, поскольку позволяет одному дорогостоящему ускорителю одновременно обслуживать множество небольших рабочих нагрузок, не мешая друг другу.
Какую изоляцию между экземплярами обеспечивает MIG?
MIG обеспечивает аппаратную изоляцию, выделяя SM, фрагменты кэша L2 и память для каждого экземпляра, чтобы рабочие нагрузки не могли вмешиваться.
На какой архитектуре NVIDIA впервые был представлен MIG?
Компания MIG дебютировала с A100 на базе Ampere и продолжила работу с графическими процессорами H100 и более поздних версий для центров обработки данных.
На какое максимальное количество экземпляров можно разделить графический процессор с поддержкой MIG?
Графический процессор с поддержкой MIG, такой как A100, можно разделить на семь независимых экземпляров.
Что означает «5 ГБ» в профиле MIG, например «1g.5gb»?
Профиль кодирует вычислительные фрагменты (1 г) и выделенную память (5 ГБ), предоставленную экземпляру.
Для каких рабочих задач MIG особенно хорошо подходит?
MIG проявляется, когда множество небольших изолированных рабочих нагрузок (например, логический вывод) используют одну карту с гарантированным качеством обслуживания.