SwiGLU ve Geçitli Aktivasyonlar
SwiGLU, girişin bir doğrusal projeksiyonunu Swish ile etkinleştirilen ikinci bir projeksiyonla çarparak, transformatör ileri besleme katmanları içinde öğrenilebilir, veriye bağlı bir kapı görevi gören, geçitli bir aktivasyon fonksiyonudur.
Genel Bakış
It consistently improves language-model quality, which is why nearly every modern LLM uses it.
Derin Dalış
Standart bir transformatör ileri besleme bloğu, aralarında ReLU veya GELU bulunan iki doğrusal katmandan oluşur. Dauphin ve diğerleri tarafından önerilen Kapılı Doğrusal Birimler. 2016'da ilk projeksiyonu iki yarıya bölün ve bir yarıyı diğerini eleman bazında çarpma yoluyla kapatmak için kullanın. Noam Shazeer tarafından 2020'de popüler hale getirilen SwiGLU, bu kapı için Swish (SiLU) fonksiyonunu kullanıyor: çıktı = (Swish(xW) * (xV)) W2, iki yerine üç ağırlık matrisiyle. Geçitleme, ağın boyut başına bilgiyi seçici olarak iletmesine veya bastırmasına olanak tanır. Üçüncü matrisin eklenmesi parametreleri büyüttüğünden, uygulamalar gizli boyutu kabaca üçte iki oranında küçülterek toplam hesaplamanın GELU MLP ile karşılaştırılabilir kalmasını sağlar. Shazeer'in deneyleri ölçülebilir şaşkınlık kazanımları gösterdi ve LLaMA, PaLM ve Mistral'ın hepsi bunu benimsedi.
Teknik Bilgi
Swish x * sigmoid(beta*x), ReLU'dan farklı olarak küçük negatif değerlerin geçmesine izin veren düzgün, monoton olmayan bir işlevdir. SwiGLU'da 'geçit' dalı Swish(xW), 'değer' dalını xV öğe bazında çoğaltan 0 veya 1'e yakın değerler üretir, böylece her gizli birimin katkısı öğrenilmiş, girişe bağlı bir sinyal tarafından modüle edilir. Üçüncü ağırlık matrisi maliyettir; üçte ikilik gizli boyut numarası, FLOP bütçesinin vanilya ileri besleme katmanıyla eşleştirilmesine olanak sağlar.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Quality control
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
SwiGLU ve Geçitli Aktivasyonların Geleceği
SwiGLU, açık ağırlıklı LLM'lerde varsayılan MLP olarak yerleşmiştir ve yakın zamanda yerini alması pek olası değildir. Aktif yönlendirmeler arasında GeGLU ve ReGLU varyantları, her iki projeksiyonu tek geçişte hesaplayan birleştirilmiş GPU çekirdekleri ve kapılı MLP'leri uzmanların karışımıyla birleştirerek her uzmanın kendisinin bir SwiGLU bloğu olmasını sağlar. Araştırmacılar ayrıca daha ucuz kapılar tasarlamayı hedefleyerek geçitlemenin neden optimizasyona yardımcı olduğunu araştırıyorlar.
Gerçek Dünya Uygulaması
LLaMA, PaLM ve Mistral, eşit hesaplamada karmaşıklığı azaltmak için GELU ileri besleme katmanını SwiGLU ile değiştirir
Gizli boyut yaklaşık üçte ikiye (8/3 d) ölçeklendirilir, böylece ekstra geçit matrisi FLOP'ları şişirmez
Mixtral gibi karma uzman modelleri, uzman başına ileri besleme ağı olarak SwiGLU bloklarını kullanır
Vision ve multimodal transformatörler, MLP alt katmanlarını geliştirmek için GeGLU/SwiGLU geçitlemeyi ödünç alıyor
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Aktivasyon Yeniden Hesaplama Dengeleri
Sık sorulan sorular
What is SwiGLU and Gated Activations?
SwiGLU, girişin bir doğrusal projeksiyonunu Swish ile etkinleştirilen ikinci bir projeksiyonla çarparak, transformatör ileri besleme katmanları içinde öğrenilebilir, veriye bağlı bir kapı görevi gören, geçitli bir aktivasyon fonksiyonudur. Dil modeli kalitesini sürekli olarak geliştirir, bu nedenle neredeyse her modern Yüksek Lisans onu kullanır.
Geçitli Doğrusal Üniteyi hangi temel operasyon tanımlar?
Bir GLU, bir değer projeksiyonunu bir geçit projeksiyonu elemanı ile çarparak ağ kontrol bilgisinin boyut başına akışına izin verir.
SwiGLU kapı dalı için hangi aktivasyon fonksiyonunu kullanıyor?
SwiGLU, geçit dalı için SiLU olarak da adlandırılan ve x * sigmoid(beta*x) olarak tanımlanan Swish'i kullanır.
Bir SwiGLU ileri besleme bloğu kaç ağırlık matrisi kullanır?
SwiGLU'nun üç matrise ihtiyacı vardır: geçit projeksiyonu, değer projeksiyonu ve çıktı projeksiyonu.
Gizli boyut neden SwiGLU katmanlarında genellikle yaklaşık üçte iki oranında ölçeklendiriliyor?
Aksi takdirde üçüncü matris bilgi işlemi şişirir, dolayısıyla gizli boyutun kabaca 8/3 d'ye küçültülmesi bütçenin uyumlu olmasını sağlar.
2020'de transformatör ileri besleme katmanları için SwiGLU'yu kim popüler hale getirdi?
Noam Shazeer'in 2020 notu 'GLU Varyantları Transformer'ı İyileştiriyor', SwiGLU'yu tanıttı ve kafa karıştırıcı kazanımlarını gösterdi.