ДаліНаступний посібник
Hugging Face Accelerate для навчання з кількома GPU
технічний
Технічний КЕРІВНИЦТВО
Багатоекземплярне розділення GPU
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Глибоке занурення
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Реалізація в реальному світі
Хмарний постачальник розбиває один A100 на сім екземплярів, щоб кожен із семи клієнтів отримав гарантований ізольований фрагмент GPU для висновку.
Університетський дослідницький кластер надає кожному аспіранту екземпляр MIG на 10 ГБ для прототипування замість того, щоб монополізувати цілі карти.
Служба логічного висновку об’єднує кілька невеликих моделей мови та зору в один H100, кожну у своєму розділі з передбачуваною затримкою.
Кластер Kubernetes рекламує екземпляри MIG як заплановані ресурси, тому модулі запитують «nvidia.com/mig-1g.5gb», як і будь-який інший ресурс.
Майбутнє багатоекземплярного розділення GPU
Оскільки графічні процесори збільшуються до 80 ГБ, 141 ГБ і більше, розділення стає більш привабливим, оскільки окремі моделі рідко потребують цілої карти для висновку. Очікуйте тіснішої інтеграції Kubernetes і хмари, динамічного перерозподілу без виснаження вузла та більш детальних профілів. Конкуруючі постачальники прагнуть подібної віртуалізації GPU у стилі SR-IOV, а платформи безсерверного висновку все більше покладаються на розділення, щоб щільно розміщувати багато моделей і зменшувати витрати простою.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Multi-Instance GPU Partitioning quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Multi-Instance GPU Partitioning?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
На якій архітектурі NVIDIA вперше було представлено MIG?
MIG дебютувала з A100 на базі Ampere і продовжила роботу на H100 і пізніших графічних процесорах центрів обробки даних.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
У профілі MIG, наприклад «1g.5gb», що означає «5gb»?
Профіль кодує обчислювальні фрагменти (1 г) і виділену пам’ять (5 ГБ), надану екземпляру.
Для яких навантажень MIG особливо підходить?
MIG сяє, коли багато невеликих ізольованих робочих навантажень (наприклад, висновків) використовують одну картку з гарантованою якістю обслуговування.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми