Normalisasi Kelompok
Normalisasi Grup adalah teknik yang menstabilkan pelatihan jaringan saraf dengan menormalkan fitur dalam kelompok saluran kecil, secara independen untuk setiap contoh.
Ikhtisar
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
Menyelam Lebih Dalam
Lapisan normalisasi menjaga angka-angka mengalir melalui jaringan dengan skala yang baik, sehingga mempercepat dan menstabilkan pelatihan. Normalisasi Batch melakukan hal ini dengan menghitung rata-rata dan varians setiap fitur di seluruh mini-batch, namun hal ini membuatnya rapuh ketika jumlah batch kecil, karena statistik menjadi berisik dan tidak dapat diandalkan. Normalisasi Grup, yang diperkenalkan oleh Wu dan He pada tahun 2018, menghilangkan seluruh batch dari persamaan. Untuk setiap contoh individual, ini membagi saluran menjadi sejumlah grup tetap, lalu menormalkan setiap grup hanya dengan menggunakan nilai contoh itu sendiri. Karena komputasi tidak pernah bergantung pada contoh lain dalam batch, kinerja tetap stabil baik batch tersebut menampung 32 gambar atau hanya satu, menjadikannya populer dalam tugas deteksi, segmentasi, dan visi yang membutuhkan banyak memori.
Wawasan Teknis
Norma Grup menghitung mean dan varians pada dimensi spasial dan saluran dalam setiap grup, per sampel. Kemudian dinormalisasi ke mean nol dan varian satuan serta menerapkan skala per saluran (gamma) dan pergeseran (beta) yang dipelajari. Ini menggeneralisasi skema lain: dengan satu grup menjadi Normalisasi Lapisan, dan dengan satu saluran per grup menjadi Normalisasi Instance. Jumlah grup adalah hyperparameter, sering kali disetel ke 32.
Dampak Strategis
Clearer decisions
Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
Cost and budget
Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
Team and workflow
Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Masa Depan Normalisasi Grup
Normalisasi Grup tetap menjadi pilihan utama di mana pun batch harus berukuran kecil, seperti deteksi dan segmentasi resolusi tinggi, model 3D dan video, serta pelatihan dengan memori terbatas. Ini juga tertanam dalam arsitektur generatif yang banyak digunakan seperti U-Nets di dalam model difusi. Ketika model berkembang dan tekanan memori mendorong ukuran batch turun, normalizer yang tidak bergantung pada batch, termasuk Norma Grup bersama dengan Norma Lapisan, kemungkinan akan tetap menjadi blok penyusun default, dengan penelitian berkelanjutan terhadap hibrida dan alternatif bebas normalisasi.
Implementasi Dunia Nyata
Deteksi objek dan segmentasi instance (misalnya, model gaya Mask R-CNN) dilatih dengan batch per GPU yang sangat kecil.
Tulang punggung U-Net di dalam generator gambar difusi, tempat Norma Grup menstabilkan skala fitur.
Jaringan 3D dan video di mana penggunaan memori tinggi memaksa ukuran batch diturunkan menjadi satu atau dua.
Menyempurnakan model visi besar pada perangkat keras terbatas di mana batch kecil membuat statistik Batch Norm tidak dapat diandalkan.
Risiko & Pagar Pembatas
Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Peta Jalan Implementasi
Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
Dokumentasikan di mana Normalisasi Grup membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Normalisasi Hadiah yang Dikelompokkan di RLHF
Pertanyaan yang sering diajukan
What is Group Normalization?
Normalisasi Grup adalah teknik yang menstabilkan pelatihan jaringan saraf dengan menormalkan fitur dalam kelompok saluran kecil, secara independen untuk setiap contoh. Ini penting karena, tidak seperti Normalisasi Batch, ini berfungsi dengan baik bahkan ketika batchnya kecil.
Apa keuntungan utama Normalisasi Grup dibandingkan Normalisasi Batch?
Karena Norma Grup menghitung statistik per contoh, bukan seluruh kelompok, maka Norma Grup tidak terdegradasi menjadi kelompok kecil, tidak seperti Norma Batch.
Atas dasar apa Normalisasi Grup menghitung mean dan variansnya?
Ini membagi saluran menjadi beberapa grup dan menormalkan setiap grup hanya dengan menggunakan nilai contoh dan lokasi spasial tersebut, mengabaikan kumpulan lainnya.
Normalisasi Grup menjadi Normalisasi Lapisan dalam kasus khusus apa?
Dengan satu grup, semua saluran dinormalisasi bersama per contoh, yang merupakan Normalisasi Lapisan.
Normalisasi Grup menjadi Normalisasi Instance dalam kasus khusus apa?
Jika setiap grup memiliki satu saluran, setiap saluran akan dinormalisasi sendiri-sendiri sesuai contoh, yaitu Normalisasi Instance.
Setelah normalisasi, apa yang diterapkan Norma Grup untuk memulihkan fleksibilitas representasi?
Seperti lapisan normalisasi lainnya, Norma Grup menyertakan parameter skala dan pergeseran yang dapat dipelajari sehingga jaringan dapat membatalkan atau menyesuaikan normalisasi sesuai kebutuhan.