СледваСледващо ръководство
Hugging Face Accelerate for Multi-GPU Training
технически
Техническо РЪКОВОДСТВО
Мултиинстанционно GPU разделяне
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Дълбоко гмуркане
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Внедряване в реалния свят
Доставчик на облак разделя един A100 на седем екземпляра, така че всеки седем клиента да получи гарантиран, изолиран GPU срез за извод.
Университетски изследователски клъстер дава на всеки докторант 10GB MIG екземпляр за създаване на прототипи, вместо да монополизира цели карти.
Услуга за извод пакетира няколко малки езикови и визуални модела в един H100, всеки в собствен дял с предсказуема латентност.
Клъстер на Kubernetes рекламира екземпляри на MIG като планирани ресурси, така че подовете изискват „nvidia.com/mig-1g.5gb“ като всеки друг ресурс.
Бъдещето на разделянето на GPU с няколко инстанции
Тъй като графичните процесори нарастват до 80GB, 141GB и повече, разделянето става по-привлекателно, тъй като отделните модели рядко се нуждаят от цяла карта за извод. Очаквайте по-тясна интеграция на Kubernetes и облака, динамично преразпределяне без изтощаване на възела и по-фини профили. Конкурентните доставчици се стремят към подобна GPU виртуализация в стил SR-IOV, а платформите за изводи без сървър все повече разчитат на разделяне, за да опаковат много модели плътно и да намалят загубата на неактивни данни.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Multi-Instance GPU Partitioning quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Multi-Instance GPU Partitioning?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
На коя архитектура на NVIDIA е представен за първи път MIG?
MIG дебютира с базирания на Ampere A100 и продължи с H100 и по-късни графични процесори за центрове за данни.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
В MIG профил като „1g.5gb“, какво представлява „5gb“?
Профилът кодира изчислителни сегменти (1g) и специалната памет (5GB), предоставена на инстанцията.
За какво работно натоварване е особено подходящ MIG?
MIG блести, когато много малки, изолирани работни натоварвания (като изводи) споделят една карта с гарантирано качество на услугата.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема