SelanjutnyaPanduan berikutnya
Hugging Face Mempercepat Pelatihan Multi-GPU
Teknis
PANDUAN Teknis
Partisi GPU Multi-Instance
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Menyelam Lebih Dalam
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Implementasi Dunia Nyata
Penyedia cloud membagi satu A100 menjadi tujuh instance sehingga masing-masing tujuh pelanggan mendapatkan potongan GPU yang terjamin dan terisolasi untuk inferensi.
Sebuah cluster penelitian universitas memberi setiap mahasiswa PhD sebuah instance MIG 10GB untuk membuat prototipe alih-alih memonopoli seluruh kartu.
Layanan inferensi mengemas beberapa model bahasa dan visi kecil ke dalam satu H100, masing-masing dalam partisinya sendiri dengan latensi yang dapat diprediksi.
Sebuah klaster Kubernetes mengiklankan instance MIG sebagai sumber daya yang dapat dijadwalkan sehingga pod meminta 'nvidia.com/mig-1g.5gb' seperti sumber daya lainnya.
Masa Depan Partisi GPU Multi-Instance
Saat GPU tumbuh hingga 80GB, 141GB, dan seterusnya, partisi menjadi lebih menarik karena model individual jarang memerlukan seluruh kartu untuk inferensi. Harapkan Kubernetes yang lebih ketat dan integrasi cloud, partisi ulang dinamis tanpa menguras node, dan profil yang lebih detail. Vendor pesaing sedang mengejar virtualisasi GPU serupa bergaya SR-IOV, dan platform inferensi tanpa server semakin mengandalkan partisi untuk mengemas banyak model secara padat dan mengurangi pemborosan yang tidak ada gunanya.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Multi-Instance GPU Partitioning quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is Multi-Instance GPU Partitioning?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
Pada arsitektur NVIDIA manakah MIG pertama kali diperkenalkan?
MIG memulai debutnya dengan A100 berbasis Ampere dan dilanjutkan pada H100 dan GPU pusat data yang lebih baru.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
Dalam profil MIG seperti '1g.5gb', apa yang dimaksud dengan '5gb'?
Profil ini mengkodekan irisan komputasi (1g) dan memori khusus (5GB) yang diberikan ke instance.
Beban kerja manakah yang paling cocok untuk MIG?
MIG bersinar ketika banyak beban kerja kecil dan terisolasi (seperti inferensi) berbagi satu kartu dengan kualitas layanan yang terjamin.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini