À suivreGuide suivant
Hugging Face Accelerate pour l'entraînement multi-GPU
Technique
GUIDE Technique
Partitionnement GPU multi-instance
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Plongée profonde
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Mise en œuvre dans le monde réel
Un fournisseur de cloud divise un A100 en sept instances afin que sept clients obtiennent chacun une tranche GPU isolée et garantie pour l'inférence.
Un pôle de recherche universitaire offre à chaque doctorant une instance MIG de 10 Go pour le prototypage au lieu de monopoliser des cartes entières.
Un service d'inférence regroupe plusieurs petits modèles de langage et de vision sur un H100, chacun dans sa propre partition avec une latence prévisible.
Un cluster Kubernetes annonce les instances MIG en tant que ressources planifiables afin que les pods demandent « nvidia.com/mig-1g.5gb » comme n'importe quelle autre ressource.
L'avenir du partitionnement GPU multi-instance
À mesure que les GPU atteignent 80 Go, 141 Go et au-delà, le partitionnement devient plus attrayant car les modèles individuels ont rarement besoin d'une carte entière pour l'inférence. Attendez-vous à une intégration Kubernetes et cloud plus étroite, à un partitionnement dynamique sans drainer le nœud et à des profils plus fins. Les fournisseurs concurrents recherchent une virtualisation GPU similaire de type SR-IOV, et les plates-formes d'inférence sans serveur s'appuient de plus en plus sur le partitionnement pour regrouper de nombreux modèles de manière dense et réduire le gaspillage.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Multi-Instance GPU Partitioning quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Multi-Instance GPU Partitioning?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
Sur quelle architecture NVIDIA le MIG a-t-il été introduit pour la première fois ?
MIG a fait ses débuts avec l'A100 basé sur Ampere et a continué sur les GPU de centre de données H100 et ultérieurs.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
Dans un profil MIG tel que « 1 g,5 Go », que représente le « 5 Go » ?
Le profil code les tranches de calcul (1g) et la mémoire dédiée (5 Go) attribuée à l'instance.
Pour quelle charge de travail MIG est-il particulièrement adapté ?
MIG brille lorsque de nombreuses petites charges de travail isolées (comme l'inférence) partagent une seule carte avec une qualité de service garantie.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet