SelanjutnyaPanduan berikutnya
Gradien yang Hilang dan Meledak
Teknis
PANDUAN Teknis
Akumulasi Gradien
Akumulasi gradien memungkinkan Anda menyimulasikan ukuran batch besar pada memori GPU terbatas dengan menjumlahkan gradien pada beberapa mini-batch kecil sebelum memperbarui bobotnya.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Ini adalah solusi standar untuk melatih model besar ketika memori menjadi penghambatnya.
Menyelam Lebih Dalam
Biasanya langkah pelatihan memproses satu batch, menghitung gradien, dan segera memperbarui parameter. Dengan akumulasi gradien, Anda menjalankan beberapa lintasan maju dan mundur pada kumpulan mikro yang lebih kecil, menambahkan gradiennya bersama-sama dalam buffer parameter, dan hanya memanggil langkah pengoptimal (dan menghilangkan gradien) setelah N kumpulan mikro. Ukuran batch efektif menjadi ukuran batch mikro dikalikan N, meskipun memori puncak hanya menampung satu batch mikro aktivasi. Hal ini penting karena banyak resep pelatihan mengasumsikan batch besar untuk statistik yang stabil, dan karena model seperti transformator besar tidak dapat memuat batch target penuh pada satu perangkat. Tangkapannya: statistik normalisasi batch dihitung per mikro-batch, jadi norma lapisan atau norma grup berpasangan lebih baik dengan akumulasi, dan Anda harus menskalakan kerugian dengan benar untuk menjaga kecepatan pemelajaran efektif tetap tepat.
Implementasi Dunia Nyata
Menyempurnakan model bahasa besar pada satu GPU konsumen dengan mengumpulkan lebih dari 8 atau 16 mikro-batch untuk mencapai ratusan batch efektif.
Melatih visi resolusi tinggi atau model segmentasi yang dapat menampung 2 batch, namun resepnya memerlukan 32 batch yang efektif.
Hugging Face Trainer dan PyTorch Lightning mengekspos pengaturan gradien_accumulation_steps yang digunakan secara rutin dalam pengaturan VRAM terbatas.
Mereproduksi hasil kumpulan besar makalah pada perangkat keras yang lebih kecil dengan mencocokkan ukuran kumpulan efektif melalui akumulasi.
Masa Depan Akumulasi Gradien
Akumulasi gradien akan tetap menjadi tuas default karena ukuran model melebihi memori satu perangkat. Ini semakin dikombinasikan dengan presisi campuran, pos pemeriksaan aktivasi, sharding ZeRO, dan paralelisme saluran pipa dalam kerangka kerja seperti DeepSpeed dan FSDP. Harapkan otomatisasi yang lebih ketat di mana perpustakaan menyesuaikan langkah-langkah akumulasi secara otomatis sesuai anggaran memori, dan pentingnya penyempurnaan model besar pada perangkat keras sederhana, termasuk GPU konsumen yang akan membuka pelatihan yang sebelumnya tidak mungkin dilakukan.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Ikuti kuis Akumulasi Gradien
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Akumulasi Gradien?
Akumulasi gradien memungkinkan Anda menyimulasikan ukuran batch besar pada memori GPU terbatas dengan menjumlahkan gradien pada beberapa mini-batch kecil sebelum memperbarui bobotnya. Ini adalah solusi standar untuk melatih model besar ketika memori menjadi penghambatnya.
Apa yang terutama dapat dilakukan oleh akumulasi gradien?
Dengan menjumlahkan gradien pada beberapa kumpulan mikro sebelum memperbarui, Anda meniru kumpulan besar tanpa menyimpan semuanya di memori sekaligus.
Dengan faktor akumulasi N, kapan optimizer.step() dan zero_grad() harus terjadi?
Akumulasi gradien di N kumpulan mikro, panggil optimizer.step() sekali untuk kumpulan efektif, lalu hapus gradien sebelum jendela berikutnya; mulai pelatihan dengan buffer yang dibersihkan.
Lapisan normalisasi mana yang lebih cocok dipadukan dengan akumulasi gradien?
Norma batch menghitung statistik per batch mikro, sehingga norma lapisan atau grup menghindari ketidakcocokan dengan batch mikro kecil.
Mengapa empat batch mikro dengan BatchNorm berperilaku berbeda dari satu batch fisik dengan ukuran total yang sama?
Perhitungan maju yang bergantung pada batch mematahkan kesetaraan yang tepat.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini