SıradakiSonraki rehber
GPTQ ve AWQ Eğitim Sonrası Niceleme
Teknik
Teknik KILAVUZ
DeepSpeed ve Megatron Eğitim Yığınları
DeepSpeed (Microsoft) ve Megatron-LM (NVIDIA), binlerce GPU'da milyarlarca parametreye sahip eğitim modellerini gerçekten mümkün kılan yazılım yığınlarıdır.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Onlar olmadan günümüzün öncü modelleri hafızaya sığamaz veya eğitimi makul bir sürede bitiremezdi.
Derin Dalış
Büyük bir modeli tek bir GPU üzerinde eğitmek imkansızdır çünkü ağırlıklar, eğimler ve optimize edici durumları uymamaktadır. Bu yığınlar işi birçok GPU'ya böler. Megatron-LM, GPU'lar boyunca her katmanın içindeki bireysel matris çarpımlarını dilimleyerek tensör paralelliğine ve ayrıca farklı katmanları farklı GPU'lara yerleştiren ardışık düzen paralelliğine öncülük etti. DeepSpeed'in imza katkısı, optimizasyon durumlarını, degradeleri ve parametreleri kopyalamak yerine GPU'lar arasında parçalayan ve GPU başına belleği önemli ölçüde azaltan ZeRO'dur (Sıfır Yedeklilik Optimize Edici). BLOOM-176B ve Megatron-Turing NLG gibi modelleri eğitmek için bu ikisi sıklıkla birleştirilir (Megatron-DeepSpeed). Ayrıca karışık hassasiyet, etkinleştirme kontrol noktası belirleme ve CPU veya NVMe'ye yük boşaltma da ekleyerek büyük modellerin sınırlı donanımla eğitilmesini sağlarlar.
Gerçek Dünya Uygulaması
Yüzlerce GPU'da birleşik Megatron-DeepSpeed yığınını kullanarak açık, çok dilli BLOOM-176B modelini eğitme.
Microsoft ve NVIDIA, 530 milyar parametreli Megatron-Turing NLG modelini 3D paralellik ile eğitiyor.
ZeRO-Offload, optimizer durumlarını CPU RAM'e aktararak araştırmacıların tek bir iş istasyonu GPU'sundaki milyarlarca parametreli modellere ince ayar yapmasına olanak tanır.
Aktivasyonların hepsini depolamak yerine yeniden hesaplayarak daha uzun bağlam pencerelerine sığdırmak için bu yığınlarda aktivasyon kontrol noktasının kullanılması.
DeepSpeed ve Megatron Eğitim Yığınlarının Geleceği
PyTorch'un birçok Sıfır fikrini özümseyen ve araştırma yığınları ile çekirdek çerçeveler arasındaki çizgiyi bulanıklaştıran yerel FSDP'si (Tamamen Parçalanmış Veri Paralel) ile daha sıkı entegrasyon bekleyebilirsiniz. Derleyici odaklı yaklaşımlar ve otomatik paralellik planlayıcıları, manuel ayarlamayı ortadan kaldırmayı amaçlamaktadır. Eğitim kümeleri yüzbinlerce hızlandırıcıya doğru büyüdükçe, NVIDIA Blackwell gibi yeni donanım ve özel eğitim çiplerine yönelik desteğin yanı sıra hata toleransı, elastik ölçeklendirme ve hesaplamayla örtüşen iletişim, baskın mühendislik sınırları haline geliyor.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the DeepSpeed and Megatron Training Stacks quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
DeepSpeed ve Megatron Eğitim Yığınları Nedir?
DeepSpeed (Microsoft) ve Megatron-LM (NVIDIA), binlerce GPU'da milyarlarca parametreye sahip eğitim modellerini gerçekten mümkün kılan yazılım yığınlarıdır. Onlar olmadan günümüzün öncü modelleri hafızaya sığamaz veya eğitimi makul bir sürede bitiremezdi.
DeepSpeed'in Sıfır Optimize Edicisinin temel amacı nedir?
ZeRO (Sıfır Yedeklilik Optimize Edici), optimize edici durumlarını, degradeleri ve parametreleri her cihazda kopyalamak yerine GPU'lar arasında bölümlendirerek bellek yedekliliğini ortadan kaldırır.
Megatron-LM'de öncülük edilen tensör paralelliği modeli nasıl böler?
Tensör paralelliği, matematiği tek bir katman içinde (büyük matris çarpımı gibi) birden fazla GPU'ya böler; bu, katman içi bölmedir.
Hangi Sıfır aşaması, model parametrelerini de parçalayarak en büyük bellek tasarrufunu sağlar?
ZeRO Stage 3, degradelere ve optimize edici durumlarına ek olarak parametreleri parçalara ayırarak bunları talep üzerine toplayarak en büyük bellek azaltımını sağlar.
Eğitim sırasında hafızadan tasarruf etmek için 'etkinleştirme kontrol noktası oluşturma' neyi değiştirir?
Aktivasyon kontrol noktası, daha az sayıda ara aktivasyonu depolar ve bunları geri yayılım sırasında yeniden hesaplayarak azaltılmış bellek için ek hesaplama işlemi yapar.
Bu tekniklerin birleştirilmesine neden sıklıkla '3 boyutlu paralellik' adı veriliyor?
3B paralellik üç ortogonal stratejiyi bir araya getirir: veri paralelliği, tensör (katman içi) paralelliği ve boru hattı (katmanlar arası) paralelliği.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi