SeterusnyaPanduan seterusnya
Hugging Face Accelerate for Multi-GPU Training
Teknikal
PANDUAN Teknikal
Pembahagian GPU Berbilang Contoh
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Menyelam dalam
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Pelaksanaan Dunia Sebenar
Pembekal awan membahagikan satu A100 kepada tujuh kejadian supaya tujuh pelanggan setiap satu mendapat kepingan GPU terpencil yang terjamin untuk membuat inferens.
Kluster penyelidikan universiti memberi setiap pelajar PhD contoh MIG 10GB untuk prototaip dan bukannya memonopoli keseluruhan kad.
Perkhidmatan inferens mengemas beberapa model bahasa dan penglihatan kecil pada satu H100, setiap satu dalam partitionnya sendiri dengan kependaman yang boleh diramal.
Kelompok Kubernetes mengiklankan kejadian MIG sebagai sumber terjadual supaya pod meminta 'nvidia.com/mig-1g.5gb' seperti mana-mana sumber lain.
Masa Depan Pembahagian GPU Berbilang Contoh
Apabila GPU berkembang kepada 80GB, 141GB dan seterusnya, pembahagian menjadi lebih menarik kerana model individu jarang memerlukan keseluruhan kad untuk inferens. Jangkakan Kubernetes dan penyepaduan awan yang lebih ketat, pemisahan semula dinamik tanpa mengeringkan nod dan profil yang lebih halus. Vendor yang bersaing sedang mengejar virtualisasi GPU gaya SR-IOV yang serupa, dan platform inferens tanpa pelayan semakin bergantung pada pembahagian untuk membungkus banyak model dengan padat dan mengurangkan sisa terbiar.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Multi-Instance GPU Partitioning quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is Multi-Instance GPU Partitioning?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
Pada seni bina NVIDIA manakah MIG pertama kali diperkenalkan?
MIG memulakan kerjaya dengan A100 berasaskan Ampere dan diteruskan pada H100 dan GPU pusat data yang kemudian.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
Dalam profil MIG seperti '1g.5gb', apakah yang diwakili oleh '5gb'?
Profil mengekod kepingan pengiraan (1g) dan memori khusus (5GB) yang diberikan kepada contoh.
Beban kerja manakah yang paling sesuai untuk MIG?
MIG bersinar apabila banyak beban kerja kecil dan terpencil (seperti inferens) berkongsi satu kad dengan kualiti perkhidmatan yang terjamin.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini