SeterusnyaPanduan seterusnya
Normalisasi Lapisan
Teknikal
PANDUAN Teknikal
RMSNorm dan Normalisasi Pra-Lapisan
RMSNorm ialah lapisan normalisasi ringan yang menskalakan semula pengaktifan mengikut kuasa dua min akarnya, dan tempat normalisasi pra-lapisan yang melangkah sebelum setiap sublapisan dan bukannya selepas.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Together they make deep transformers train stably without warmup tricks.
Menyelam dalam
Standard LayerNorm menolak min dan membahagikan dengan sisihan piawai merentas vektor ciri, kemudian menggunakan skala dan anjakan yang dipelajari. RMSNorm, yang diperkenalkan oleh Zhang dan Sennrich pada 2019, mengurangkan pemusatan min dan berat sebelah sepenuhnya: ia hanya membahagikan setiap vektor dengan kuasa dua min akar unsurnya dan didarab dengan keuntungan setiap ciri yang dipelajari. Ini mengalih keluar satu statistik dan beberapa operasi, memotong pengiraan kira-kira 10-50% dalam lapisan norma sambil memadankan ketepatan. Secara berasingan, peletakan 'Pra-LN' (norma sebelum perhatian/MLP, dengan laluan sisa yang bersih di sekelilingnya) mengekalkan magnitud kecerunan dihadkan pada permulaan, jadi model seperti GPT-3, LLaMA dan PaLM melatih tanpa menggodam pemanasan kadar pembelajaran yang diperlukan oleh pengubah Pasca-LN yang asal.
Pelaksanaan Dunia Sebenar
LLaMA, Mistral dan Qwen semuanya menggantikan LayerNorm dengan RMSNorm untuk mencukur kependaman inferens pada setiap token
Pra-LN membolehkan model gaya GPT berlatih tanpa pemanasan kadar pembelajaran yang diperlukan oleh pengubah Pasca-LN 2017
Normalisasi QK menggunakan RMSNorm pada pertanyaan perhatian dan kunci untuk menghentikan logit daripada meletup dalam model besar
Transformer mudah alih dan tepi mengguna pakai RMSNorm kerana penurunan min dan berat sebelah mengurangkan trafik memori
Masa Depan RMSNorm dan Normalisasi Pra-Lapisan
RMSNorm kini menjadi lalai dalam kebanyakan LLM berat terbuka (LLaMA, Mistral, Qwen, Gemma), jadi harapkan ia kekal standard. Penyelidikan sedang memperhalusi resipi: QK-norm menggunakan RMSNorm pada pertanyaan perhatian dan kunci untuk menjinakkan pertumbuhan logit, dan sesetengah makmal menggabungkan pra dan pasca norma ('sandwic' atau 'peri-LN') untuk kestabilan tambahan pada skala trilion parameter. Inti perkakasan terus menggabungkan operasi untuk kelajuan.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the RMSNorm and Pre-Layer Normalization quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is RMSNorm and Pre-Layer Normalization?
RMSNorm ialah lapisan normalisasi ringan yang menskalakan semula pengaktifan mengikut kuasa dua min akarnya, dan tempat normalisasi pra-lapisan yang melangkah sebelum setiap sublapisan dan bukannya selepas. Bersama-sama mereka membuat transformer dalam berlatih secara stabil tanpa helah pemanasan.
Apakah yang RMSNorm tinggalkan berbanding dengan LayerNorm standard?
RMSNorm melangkau pengiraan dan menolak min, menormalkan hanya dengan kuasa dua min punca pengaktifan.
Dengan kuantiti berapakah RMSNorm membahagikan setiap vektor pengaktifan?
RMSNorm membahagi dengan sqrt min unsur kuasa dua, iaitu punca min kuasa dua, kemudian menggunakan keuntungan yang dipelajari.
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
Dalam blok Pra-LN, laluan apakah yang sengaja dibiarkan tanpa disentuh oleh lapisan normalisasi?
Pra-LN menormalkan input kepada sublapisan tetapi pintasan baki memintasnya, mengekalkan lebuh raya kecerunan yang bersih.
Keluarga model berat terbuka moden manakah yang menggunakan RMSNorm secara lalai?
RMSNorm menjadi penormalan standard dalam LLaMA, Mistral, Qwen, Gemma dan LLM terbaharu.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini