Çoklu Örnek GPU Bölümleme
Çoklu Örnek GPU (MIG), tek bir fiziksel GPU'yu birden fazla yalıtılmış donanım bölümüne bölen bir NVIDIA teknolojisidir.
Genel Bakış
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
Derin Dalış
NVIDIA A100 (Amper) ile tanıtılan ve H100 ve daha yeni veri merkezi GPU'larıyla devam eden MIG, bir GPU'yu yedi adede kadar bağımsız örneğe ayırır. MIG, yazılım zaman dilimlemesinden farklı olarak gerçek donanım izolasyonu sağlar: her örnek kendi özel akışlı çoklu işlemcilerine (SM'ler), L2 önbellek dilimlerine, bellek denetleyicilerine ve sabit bir yüksek bant genişlikli belleğe sahip olur. 40 GB'lık bir A100, yedi adet 5 GB'lık örneğe veya daha az sayıda daha büyük örneğe bölünebilir. Her bölüm daha küçük, bağımsız bir GPU gibi davranır, bu nedenle bir durumda gürültülü veya çökmekte olan bir iş diğerini aç bırakamaz veya bozamaz. Bu garantili hizmet kalitesi, MIG'i çıkarım hizmeti, çok kiracılı kümeler ve birçok kullanıcının tek kartı paylaştığı geliştirme ortamları için ideal kılar.
Teknik Bilgi
MIG, GPU'nun dahili çapraz çubuğunu fiziksel olarak kapatarak çalışır, böylece her örnek kendi bellek dilimine ve SM'lere sabit bir yola sahip olur. NVIDIA, profilleri 1g.5gb'den (bir hesaplama dilimi, 5GB) 7g.40gb'ye kadar kesirler olarak tanımlar. GPU Örneği belleği ve SM'leri ayırır; içindeki bir Bilgi İşlem Örneği, SM'leri daha da alt bölümlere ayırır. Bölümler donanım tarafından zorlandığı için hatalar, ECC hataları ve bellek bant genişliği tek bir örnekle sınırlı kalır.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Quality control
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Çok Örnekli GPU Bölümlemenin Geleceği
GPU'lar 80 GB, 141 GB ve ötesine büyüdükçe bölümleme daha çekici hale gelir çünkü bireysel modeller çıkarım için nadiren tam bir karta ihtiyaç duyar. Daha sıkı Kubernetes ve bulut entegrasyonu, düğümü tüketmeden dinamik yeniden bölümleme ve daha ayrıntılı profiller bekleyebilirsiniz. Rakip satıcılar benzer SR-IOV tarzı GPU sanallaştırmasının peşinde koşuyor ve sunucusuz çıkarım platformları, birçok modeli yoğun bir şekilde paketlemek ve boşta kalan israfı azaltmak için giderek daha fazla bölümlemeye güveniyor.
Gerçek Dünya Uygulaması
Bir bulut sağlayıcısı, bir A100'ü yedi örneğe bölerek yedi müşterinin her birinin çıkarım için garantili, izole bir GPU dilimine sahip olmasını sağlıyor.
Bir üniversite araştırma grubu, tüm kartları tekeline almak yerine prototip oluşturması için her doktora öğrencisine 10 GB MIG örneği veriyor.
Çıkarım hizmeti, birkaç küçük dil ve görüntü modelini, her biri öngörülebilir gecikme süresine sahip kendi bölümünde olacak şekilde tek bir H100'de paketler.
Bir Kubernetes kümesi, MIG örneklerini zamanlanabilir kaynaklar olarak tanıtır; böylece bölmeler, diğer kaynaklar gibi 'nvidia.com/mig-1g.5gb' adresini talep eder.
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Çok Görevli Öğrenme
Sık sorulan sorular
What is Multi-Instance GPU Partitioning?
Çoklu Örnek GPU (MIG), tek bir fiziksel GPU'yu birden fazla yalıtılmış donanım bölümüne bölen bir NVIDIA teknolojisidir. Bu önemlidir çünkü pahalı bir hızlandırıcının birçok küçük iş yüküne aynı anda, birbirlerine müdahale etmeden hizmet vermesine olanak tanır.
MIG örnekler arasında ne tür bir izolasyon sağlıyor?
MIG, iş yüklerinin müdahale etmemesi için SM'leri, L2 önbellek dilimlerini ve belleği her bir örneğe ayırarak donanımda izolasyonu zorlar.
MIG ilk kez hangi NVIDIA mimarisi üzerinde tanıtıldı?
MIG, Ampere tabanlı A100 ile çıkış yaptı ve H100 ve daha sonraki veri merkezi GPU'larıyla devam etti.
MIG özellikli bir GPU'nun bölünebileceği maksimum örnek sayısı nedir?
A100 gibi MIG özellikli bir GPU, yedi adede kadar bağımsız örneğe bölünebilir.
'1g.5gb' gibi bir MIG profilinde '5gb' neyi temsil eder?
Profil, örneğe verilen hesaplama dilimlerini (1g) ve ayrılmış belleği (5GB) kodlar.
MIG özellikle hangi iş yüküne uygundur?
MIG, birçok küçük, izole iş yükünün (çıkarım gibi) garantili hizmet kalitesiyle tek bir kartı paylaştığı zaman parlıyor.