A continuaciónSiguiente guía
Hugging Face Acelerar para entrenamiento multi-GPU
Técnico
GUÍA Técnica
Partición de GPU de instancias múltiples
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Buceo profundo
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Implementación en el mundo real
Un proveedor de nube divide un A100 en siete instancias, de modo que cada uno de los siete clientes obtiene una porción de GPU aislada y garantizada para realizar inferencias.
Un grupo de investigación universitario ofrece a cada estudiante de doctorado una instancia MIG de 10 GB para crear prototipos en lugar de monopolizar tarjetas enteras.
Un servicio de inferencia incluye varios modelos pequeños de lenguaje y visión en un H100, cada uno en su propia partición con una latencia predecible.
Un clúster de Kubernetes anuncia instancias MIG como recursos programables, por lo que los pods solicitan 'nvidia.com/mig-1g.5gb' como cualquier otro recurso.
El futuro de la partición de GPU de instancias múltiples
A medida que las GPU crecen hasta 80 GB, 141 GB y más, la partición se vuelve más atractiva porque los modelos individuales rara vez necesitan una tarjeta completa para realizar inferencias. Espere una integración más estrecha de Kubernetes y la nube, reparticionamiento dinámico sin agotar el nodo y perfiles más detallados. Los proveedores competidores están buscando una virtualización de GPU similar al estilo SR-IOV, y las plataformas de inferencia sin servidor dependen cada vez más de la partición para empaquetar muchos modelos de manera densa y reducir el desperdicio inactivo.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Multi-Instance GPU Partitioning quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es la partición de GPU de instancias múltiples?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
¿En qué arquitectura NVIDIA se introdujo MIG por primera vez?
MIG debutó con el A100 basado en Ampere y continuó con el H100 y GPU de centros de datos posteriores.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
En un perfil MIG como '1g.5gb', ¿qué representa el '5gb'?
El perfil codifica segmentos de cálculo (1g) y la memoria dedicada (5 GB) asignada a la instancia.
¿Para qué carga de trabajo es especialmente adecuado MIG?
MIG brilla cuando muchas cargas de trabajo pequeñas y aisladas (como la inferencia) comparten una tarjeta con calidad de servicio garantizada.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.