SelanjutnyaPanduan berikutnya
Paralelisme Tensor untuk Model Besar
Teknis
PANDUAN Teknis
Paralelisme Model dan Saluran Pipa
Jika suatu model terlalu besar untuk ditampung pada satu GPU, paralelisme model dan pipeline akan membagi model itu sendiri ke seluruh perangkat.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Inilah yang memungkinkan pelatihan model bahasa raksasa dengan ratusan miliar parameter secara fisik.
Menyelam Lebih Dalam
Paralelisme model mempartisi satu model ke beberapa GPU sehingga tidak ada satu perangkat pun yang perlu memikul semua beban tersebut. Ada dua rasa utama. Paralelisme tensor (intra-layer) membagi matematika di dalam sebuah lapisan, seperti memotong perkalian matriks besar di seluruh GPU yang masing-masing menghitung bagian dari output. Paralelisme pipeline (antar-lapisan) menetapkan lapisan berurutan yang berbeda ke GPU yang berbeda, sehingga blok lapisan 1 berada di GPU 0, blok 2 di GPU 1, dan seterusnya, dengan aktivasi diteruskan seperti jalur perakitan. Tantangan dalam pipeline naif adalah 'gelembung': ketika GPU 0 bekerja pada batch pertama, GPU hilir tidak digunakan. Pipelining membagi setiap batch menjadi batch mikro sehingga semua tahapan tetap sibuk, sehingga meningkatkan pemanfaatan secara signifikan.
Implementasi Dunia Nyata
Melatih model bergaya GPT dengan NVIDIA Megatron-LM, yang membagi perhatian setiap lapisan transformator dan matriks feed-forward di seluruh GPU melalui paralelisme tensor.
Menggunakan GPipe untuk menempatkan berbagai lapisan visi raksasa atau model bahasa pada akselerator terpisah sementara batching mikro membuat mereka sibuk.
Mesin pipeline DeepSpeed mempartisi model multi-ratus miliar parameter menjadi beberapa tahap di banyak node.
Menggabungkan paralelisme tensor di dalam satu server 8-GPU dengan paralelisme pipeline yang mencakup beberapa server untuk melatih model yang terlalu besar untuk satu mesin.
Masa Depan Model dan Paralelisme Saluran Pipa
Kerangka kerja semakin mengotomatiskan masalah sulit dalam memutuskan cara mempartisi model di seluruh perangkat, menggunakan pembuatan profil dan pencarian untuk menyeimbangkan komputasi dan komunikasi. Harapkan integrasi yang lebih erat antara tensor, pipeline, dan paralelisme data (paralelisme 3D), penjadwalan micro-batch yang lebih cerdas untuk hampir menghilangkan gelembung pipeline, dan perangkat keras dengan interkoneksi yang lebih cepat sehingga pemisahan satu lapisan di seluruh chip menjadi lebih murah dan rutin untuk model yang semakin besar.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Model and Pipeline Parallelism quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Paralelisme Model dan Saluran Pipa?
Jika suatu model terlalu besar untuk ditampung pada satu GPU, paralelisme model dan pipeline akan membagi model itu sendiri ke seluruh perangkat. Inilah yang memungkinkan pelatihan model bahasa raksasa dengan ratusan miliar parameter secara fisik.
Masalah mendasar apa yang dipecahkan oleh model dan paralelisme saluran pipa?
Paralelisme model dan pipeline mempartisi model itu sendiri di seluruh perangkat, memungkinkan pelatihan jaringan yang jauh lebih besar daripada yang dapat ditampung oleh GPU mana pun.
Bagaimana cara kerja pemisahan paralelisme tensor (intra-layer)?
Paralelisme tensor membagi komputasi dalam satu lapisan, misalnya memisahkan matriks berbobot besar sehingga setiap GPU menghitung sebagian dari output.
Apa yang dimaksud dengan 'gelembung' dalam paralelisme saluran pipa yang naif?
Di awal langkah pipeline, tahapan hilir belum memiliki masukan dan tidak digunakan, sehingga membuang-buang waktu GPU; celah menganggur ini disebut gelembung.
Bagaimana paralelisme saluran pipa mengurangi gelembung?
Membagi batch menjadi batch mikro memungkinkan beberapa batch mikro menempati tahapan yang berbeda secara bersamaan, membuat semua GPU tetap sibuk dan mengurangi waktu idle.
Mengapa paralelisme tensor biasanya disimpan dalam satu node?
Paralelisme tensor sering berkomunikasi untuk menggabungkan kembali hasil matriks parsial, sehingga ditempatkan di tempat bandwidth interkoneksi tertinggi, di dalam node melalui NVLink.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini