SıradakiSonraki rehber
Hugging Face Çoklu GPU Eğitimi için Hızlandırma
Teknik
Teknik KILAVUZ
Çoklu Örnek GPU Bölümleme
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Derin Dalış
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Gerçek Dünya Uygulaması
Bir bulut sağlayıcısı, bir A100'ü yedi örneğe bölerek yedi müşterinin her birinin çıkarım için garantili, izole bir GPU dilimine sahip olmasını sağlıyor.
Bir üniversite araştırma grubu, tüm kartları tekeline almak yerine prototip oluşturması için her doktora öğrencisine 10 GB MIG örneği veriyor.
Çıkarım hizmeti, birkaç küçük dil ve görüntü modelini, her biri öngörülebilir gecikme süresine sahip kendi bölümünde olacak şekilde tek bir H100'de paketler.
Bir Kubernetes kümesi, MIG örneklerini zamanlanabilir kaynaklar olarak tanıtır; böylece bölmeler, diğer kaynaklar gibi 'nvidia.com/mig-1g.5gb' adresini talep eder.
Çok Örnekli GPU Bölümlemenin Geleceği
GPU'lar 80 GB, 141 GB ve ötesine büyüdükçe bölümleme daha çekici hale gelir çünkü bireysel modeller çıkarım için nadiren tam bir karta ihtiyaç duyar. Daha sıkı Kubernetes ve bulut entegrasyonu, düğümü tüketmeden dinamik yeniden bölümleme ve daha ayrıntılı profiller bekleyebilirsiniz. Rakip satıcılar benzer SR-IOV tarzı GPU sanallaştırmasının peşinde koşuyor ve sunucusuz çıkarım platformları, birçok modeli yoğun bir şekilde paketlemek ve boşta kalan israfı azaltmak için giderek daha fazla bölümlemeye güveniyor.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Multi-Instance GPU Partitioning quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Çok Örnekli GPU Bölümleme Nedir?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
MIG ilk kez hangi NVIDIA mimarisi üzerinde tanıtıldı?
MIG, Ampere tabanlı A100 ile çıkış yaptı ve H100 ve daha sonraki veri merkezi GPU'larıyla devam etti.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
'1g.5gb' gibi bir MIG profilinde '5gb' neyi temsil eder?
Profil, örneğe verilen hesaplama dilimlerini (1g) ve ayrılmış belleği (5GB) kodlar.
MIG özellikle hangi iş yüküne uygundur?
MIG, birçok küçük, izole iş yükünün (çıkarım gibi) garantili hizmet kalitesiyle tek bir kartı paylaştığı zaman parlıyor.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi