SeterusnyaPanduan seterusnya
Kuantiti Selepas Latihan GPTQ dan AWQ
Teknikal
PANDUAN Teknikal
Timbunan Latihan DeepSpeed dan Megatron
DeepSpeed (Microsoft) dan Megatron-LM (NVIDIA) ialah susunan perisian yang menjadikan model latihan dengan berbilion parameter merentas beribu-ribu GPU sebenarnya boleh dilaksanakan.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Without them, today's frontier models simply could not fit in memory or finish training in a reasonable time.
Menyelam dalam
Melatih model besar pada satu GPU adalah mustahil kerana keadaan pemberat, kecerunan dan pengoptimum tidak sesuai. Tindanan ini membahagikan kerja merentasi banyak GPU. Megatron-LM mempelopori keselarian tensor, menghiris pendaraban matriks individu di dalam setiap lapisan merentas GPU, serta keselarian saluran paip, yang meletakkan lapisan berbeza pada GPU berbeza. Sumbangan tandatangan DeepSpeed ialah ZeRO (Zero Redundancy Optimizer), yang membahagikan keadaan pengoptimum, kecerunan dan parameter merentas GPU dan bukannya mereplikasinya, memotong memori per-GPU secara mendadak. Kedua-duanya sering digabungkan (Megatron-DeepSpeed) untuk melatih model seperti BLOOM-176B dan Megatron-Turing NLG. Mereka juga menambah ketepatan bercampur, pusat pemeriksaan pengaktifan dan pemunggahan ke CPU atau NVMe supaya model besar berlatih pada perkakasan terhad.
Pelaksanaan Dunia Sebenar
Melatih model BLOOM-176B berbilang bahasa terbuka menggunakan susunan Megatron-DeepSpeed yang digabungkan merentas ratusan GPU.
Microsoft dan NVIDIA melatih model Megatron-Turing NLG 530 bilion parameter dengan selari 3D.
ZeRO-Offload membenarkan penyelidik memperhalusi model berbilion parameter pada satu GPU stesen kerja dengan menumpahkan keadaan pengoptimum kepada RAM CPU.
Menggunakan titik semakan pengaktifan dalam tindanan ini untuk memuatkan tetingkap konteks yang lebih panjang dengan mengira semula pengaktifan dan bukannya menyimpan semuanya.
Masa Depan Timbunan Latihan DeepSpeed dan Megatron
Jangkakan penyepaduan yang lebih ketat dengan FSDP asli PyTorch (Sejajar Data Berkongsi Penuh), yang menyerap banyak idea ZeRO, mengaburkan garis antara susunan penyelidikan dan rangka kerja teras. Pendekatan dipacu pengkompil dan perancang selari automatik bertujuan untuk mengalih keluar penalaan manual. Apabila kelompok latihan berkembang ke arah ratusan ribu pemecut, toleransi kesalahan, penskalaan anjal, dan komunikasi bertindih dengan pengiraan menjadi sempadan kejuruteraan yang dominan, di samping sokongan untuk perkakasan baharu seperti NVIDIA Blackwell dan cip latihan tersuai.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the DeepSpeed and Megatron Training Stacks quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is DeepSpeed and Megatron Training Stacks?
DeepSpeed (Microsoft) dan Megatron-LM (NVIDIA) ialah susunan perisian yang menjadikan model latihan dengan berbilion parameter merentas beribu-ribu GPU sebenarnya boleh dilaksanakan. Tanpa mereka, model sempadan hari ini tidak dapat dimuatkan dalam ingatan atau menamatkan latihan dalam masa yang munasabah.
Apakah tujuan utama pengoptimum ZeRO DeepSpeed?
ZeRO (Zero Redundancy Optimizer) menghapuskan lebihan memori dengan membahagikan keadaan pengoptimum, kecerunan dan parameter merentas GPU dan bukannya mereplikasinya pada setiap peranti.
Keselarian tensor, seperti yang dipelopori dalam Megatron-LM, membahagikan model bagaimana?
Keselarian tensor membahagikan matematik dalam satu lapisan (seperti darab matriks besar) merentasi berbilang GPU, iaitu pemisahan antara lapisan.
Peringkat ZeRO yang manakah memberikan penjimatan memori yang paling besar dengan turut membahagikan parameter model itu sendiri?
Parameter serpihan Peringkat ZeRO 3 sebagai tambahan kepada keadaan kecerunan dan pengoptimum, mengumpulkannya atas permintaan, memberikan pengurangan memori terbesar.
Apakah 'activation checkpointing' menukar untuk menjimatkan memori semasa latihan?
Titik semakan pengaktifan menyimpan lebih sedikit pengaktifan perantaraan dan mengiranya semula semasa perambatan belakang, memperdagangkan pengiraan tambahan untuk mengurangkan ingatan.
Mengapa menggabungkan teknik ini sering dipanggil 'keselarian 3D'?
Keselarian 3D menyusun tiga strategi ortogon: keselarian data, keselarian tensor (dalam lapisan) dan keselarian saluran paip (antara lapisan).
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini