PANDUAN Teknikal

Pemunggahan Keadaan Pengoptimum ke CPU dan NVMe

Helah penjimatan memori yang meletakkan simpan kira latihan yang berat (keadaan pengoptimum, kecerunan, kadangkala pemberat) dalam RAM CPU atau pada SSD NVMe dan bukannya memori GPU yang terhad.

Dengar panduan iniAI-diceritakan · ~2 min

Pada halaman ini2 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Pemunggahan Negeri Pengoptimum ke CPU dan NVMe
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ia membolehkan orang ramai melatih model yang jauh lebih besar daripada yang dibenarkan oleh memori GPU mereka.

Menyelam dalam

Apabila anda melatih rangkaian saraf dengan pengoptimum seperti Adam, setiap parameter membawa bagasi tambahan: dua statistik larian (momentum dan varians), serta salinan ketepatan penuh berat, serta kecerunannya. Dalam latihan ketepatan campuran ini boleh berjumlah kira-kira 16 bait setiap parameter, mengurangkan 2 bait untuk berat itu sendiri. Pemunggahan mengalihkan bagasi itu daripada GPU. Pemunggahan CPU menstrim keadaan pengoptimum ke dalam RAM sistem biasa melalui bas PCIe, manakala pemunggahan NVMe menolaknya hingga ke cakera keadaan pepejal pantas. Dipopularkan oleh ZeRO-Infinity dan ZeRO-Offload DeepSpeed, teknik ini memperdagangkan kelajuan mentah untuk kapasiti, membenarkan model GPU tunggal atau kelompok kecil memperhalusi dengan berbilion parameter.

Pelaksanaan Dunia Sebenar

Tutorial ZeRO-Offload DeepSpeed ​​melatih konfigurasi GPT-2 sepuluh bilion parameter pada V100 32 GB, dengan pemunggahan pengoptimum CPU dan pusat pemeriksaan pengaktifan.

Pasukan penyelidik menilai ZeRO-Infinity dengan peringkat CPU dan NVMe untuk model yang melebihi kapasiti GPU sahaja.

Pasukan penalaan halus mengkonfigurasi pemunggahan pengoptimum CPU dan mengukur penggunaan memori hos dan masa kemas kini.

Satu pasukan membandingkan GPU yang lebih besar dengan pemunggahan, mengambil kira kos CPU, penyimpanan dan pemindahan.

Masa Depan Pemunggahan Negeri Pengoptimum ke CPU dan NVMe

Memandangkan model semakin meningkat memori GPU, pemunggahan berperingkat menjadi standard dan bukannya eksotik. Jangkakan penyepaduan yang lebih ketat dengan sambungan yang lebih pantas seperti kumpulan memori NVLink-C2C dan CXL yang mengaburkan sempadan CPU-GPU, serta penjadual yang lebih pintar yang meramalkan keadaan yang perlu diambil terlebih dahulu. Seni bina memori bersatu seperti Grace Hopper mengurangkan penalti PCIe, dan rangka kerja sedang mendorong ke arah menjadikan pemunggahan berbilang peringkat hampir telus supaya penggemar boleh memperhalusi model besar pada perkakasan sederhana.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Pemunggahan Negeri Pengoptimum ke CPU dan NVMe

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Pemunggahan Keadaan Pengoptimum ke CPU dan NVMe?

Helah penjimatan memori yang meletakkan simpan kira latihan yang berat (keadaan pengoptimum, kecerunan, kadangkala pemberat) dalam RAM CPU atau pada SSD NVMe dan bukannya memori GPU yang terhad. Ia membolehkan orang ramai melatih model yang jauh lebih besar daripada yang dibenarkan oleh memori GPU mereka.

Apakah matlamat utama untuk memunggah keadaan pengoptimum ke CPU atau NVMe?

Pemunggahan memindahkan keadaan pengoptimuman berat keluar dari GPU ke RAM CPU atau NVMe, membebaskan memori GPU supaya model yang lebih besar boleh dilatih pada perkakasan yang sama.

Untuk persediaan Adam dengan dua momen FP32 dan berat induk FP32, berapa banyak memori yang digunakan oleh ketiga-tiga nilai tersebut bagi setiap parameter?

Setiap nilai FP32 menggunakan empat bait: dua saat ditambah satu berat induk jumlah dua belas. Anggaran ketepatan campuran enam belas bait termasuk tensor lain juga.

Ciri rangka kerja manakah yang mempopularkan pemunggahan pengoptimum berskala besar?

ZeRO-Offload dan ZeRO-Infinity DeepSpeed ​​memperkenalkan dan mempopularkan keadaan pengoptimum pemunggahan kepada CPU dan NVMe pada skala.

Apakah kos prestasi utama pemunggahan ke CPU atau NVMe?

Memindahkan keadaan di luar GPU bermakna memindahkan data melalui PCIe atau ke NVMe, yang lebih perlahan daripada memori pada GPU, jadi daya pemprosesan menurun melainkan bertindih dengan pengiraan.

Bagaimanakah sistem pemunggahan menyembunyikan kebanyakan kependaman pemindahan?

Penjadual mengambil semula partition yang diperlukan melalui PCIe semasa GPU masih dalam pengkomputeran, bertindih komunikasi dengan pengiraan untuk menutup kependaman.