SwiGLU dan Pengaktifan Berpagar
SwiGLU ialah fungsi pengaktifan berpagar yang mendarabkan satu unjuran linear input dengan unjuran kedua yang diaktifkan Swish, bertindak sebagai get yang boleh dipelajari dan bergantung kepada data di dalam lapisan suapan hadapan pengubah.
Gambaran keseluruhan
It consistently improves language-model quality, which is why nearly every modern LLM uses it.
Menyelam dalam
Blok suapan hadapan pengubah standard ialah dua lapisan linear dengan ReLU atau GELU di antaranya. Unit Linear Berpagar, yang dicadangkan oleh Dauphin et al. pada 2016, bahagikan unjuran pertama kepada dua bahagian dan gunakan satu separuh untuk menghalang satu lagi melalui pendaraban mengikut unsur. SwiGLU, dipopularkan oleh Noam Shazeer pada tahun 2020, menggunakan fungsi Swish (SiLU) untuk get tersebut: output = (Swish(xW) * (xV)) W2, dengan tiga matriks berat dan bukannya dua. Gating membenarkan rangkaian secara selektif menghantar atau menyekat maklumat setiap dimensi. Oleh kerana menambahkan matriks ketiga menambahkan parameter, pelaksanaan mengecilkan dimensi tersembunyi kepada kira-kira dua pertiga supaya jumlah pengiraan kekal setanding dengan MLP GELU. Eksperimen Shazeer menunjukkan keuntungan kebingungan yang boleh diukur, dan LLaMA, PaLM dan Mistral semuanya menerima pakainya.
Wawasan Teknikal
Swish ialah x * sigmoid(beta*x), fungsi lancar dan tidak monotonik yang, tidak seperti ReLU, membenarkan nilai negatif kecil melaluinya. Dalam SwiGLU cawangan 'gerbang' Swish(xW) menghasilkan nilai berhampiran 0 atau 1 yang mendarabkan cawangan 'nilai' xV mengikut elemen, jadi setiap sumbangan unit tersembunyi dimodulasi oleh isyarat yang bergantung kepada input yang dipelajari. Matriks berat ketiga ialah kos; helah dua pertiga bersaiz tersembunyi memastikan belanjawan FLOP dipadankan dengan lapisan suapan ke hadapan vanila.
Kesan Strategik
Kos dan bajet
Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
Keputusan yang lebih jelas
Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
Kawalan kualiti
Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Masa Depan SwiGLU dan Pengaktifan Berpagar
SwiGLU berakar umbi sebagai MLP lalai dalam LLM berat terbuka dan tidak mungkin akan dipindahkan tidak lama lagi. Arah aktif termasuk varian GeGLU dan ReGLU, kernel GPU bercantum yang mengira kedua-dua unjuran dalam satu laluan, dan menggabungkan MLP berpagar dengan campuran pakar supaya setiap pakar itu sendiri adalah blok SwiGLU. Penyelidik juga sedang mengkaji mengapa gating membantu pengoptimuman, bertujuan untuk mereka bentuk gerbang yang lebih murah.
Pelaksanaan Dunia Sebenar
LLaMA, PaLM dan Mistral menggantikan lapisan suapan ke hadapan GELU dengan SwiGLU untuk mengurangkan kebingungan pada pengiraan yang sama
Dimensi tersembunyi diskalakan kepada kira-kira dua pertiga (8/3 hari) supaya matriks gating tambahan tidak mengembang FLOP
Model campuran pakar seperti Mixtral menggunakan blok SwiGLU sebagai rangkaian suapan hadapan setiap pakar
Pengubah penglihatan dan multimodal meminjam gerbang GeGLU/SwiGLU untuk menambah baik sublapisan MLP mereka
Risiko & Pengawal
Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Hala Tuju Pelaksanaan
Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
Penanda aras di bawah beban realistik dan keadaan data.
Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Tukar Ganti Pengiraan Semula Pengaktifan
Soalan lazim
What is SwiGLU and Gated Activations?
SwiGLU ialah fungsi pengaktifan berpagar yang mendarabkan satu unjuran linear input dengan unjuran kedua yang diaktifkan Swish, bertindak sebagai get yang boleh dipelajari dan bergantung kepada data di dalam lapisan suapan hadapan pengubah. Ia secara konsisten meningkatkan kualiti model bahasa, itulah sebabnya hampir setiap LLM moden menggunakannya.
Apakah operasi teras yang mentakrifkan Unit Linear Berpagar?
GLU mendarabkan unjuran nilai dengan elemen unjuran get, membenarkan rangkaian mengawal aliran maklumat bagi setiap dimensi.
Fungsi pengaktifan yang manakah SwiGLU gunakan untuk cawangan getnya?
SwiGLU menggunakan Swish, juga dipanggil SiLU, ditakrifkan sebagai x * sigmoid(beta*x), untuk cawangan gating.
Berapakah bilangan matriks berat yang digunakan oleh blok suapan hadapan SwiGLU?
SwiGLU memerlukan tiga matriks: unjuran get, unjuran nilai, dan unjuran output.
Mengapakah dimensi tersembunyi biasanya diskalakan kepada kira-kira dua pertiga dalam lapisan SwiGLU?
Matriks ketiga sebaliknya akan mengembang pengiraan, jadi mengecilkan saiz tersembunyi kepada kira-kira 8/3 d memastikan belanjawan dipadankan.
Siapa yang mempopularkan SwiGLU untuk lapisan suapan hadapan pengubah pada tahun 2020?
Nota 2020 Noam Shazeer 'GLU Variants Improve Transformer' memperkenalkan SwiGLU dan menunjukkan keuntungan yang membingungkan.