ДалееСледующее руководство
Hugging Face Accelerate для обучения с использованием нескольких графических процессоров
Технический
Техническое РУКОВОДСТВО
Многоэкземплярное разбиение графического процессора
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Глубокое погружение
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Реальная реализация
Поставщик облачных услуг разбивает один A100 на семь экземпляров, поэтому каждый из семи клиентов получает гарантированный изолированный фрагмент графического процессора для вывода.
Университетский исследовательский кластер предоставляет каждому аспиранту экземпляр MIG объемом 10 ГБ для прототипирования вместо того, чтобы монополизировать целые карты.
Служба вывода упаковывает несколько небольших моделей языка и видения в один H100, каждая в своем собственном разделе с предсказуемой задержкой.
Кластер Kubernetes рекламирует экземпляры MIG как планируемые ресурсы, поэтому модули запрашивают nvidia.com/mig-1g.5gb, как и любой другой ресурс.
Будущее многоэкземплярного разделения графических процессоров
По мере роста графических процессоров до 80 ГБ, 141 ГБ и более разделение становится более привлекательным, поскольку отдельным моделям редко требуется целая карта для вывода. Ожидайте более тесной интеграции Kubernetes и облака, динамического перераспределения без опорожнения узла и более детальных профилей. Конкурирующие поставщики реализуют аналогичную виртуализацию графических процессоров в стиле SR-IOV, а бессерверные платформы вывода все чаще полагаются на секционирование для плотной упаковки множества моделей и сокращения ненужных потерь.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Multi-Instance GPU Partitioning quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое разбиение нескольких экземпляров графического процессора?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
На какой архитектуре NVIDIA впервые был представлен MIG?
Компания MIG дебютировала с A100 на базе Ampere и продолжила работу с графическими процессорами H100 и более поздних версий для центров обработки данных.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
Что означает «5 ГБ» в профиле MIG, например «1g.5gb»?
Профиль кодирует вычислительные фрагменты (1 г) и выделенную память (5 ГБ), предоставленную экземпляру.
Для каких рабочих задач MIG особенно хорошо подходит?
MIG проявляется, когда множество небольших изолированных рабочих нагрузок (например, логический вывод) используют одну карту с гарантированным качеством обслуживания.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме