SwiGLU och Gated Activations
SwiGLU är en gated aktiveringsfunktion som multiplicerar en linjär projektion av ingången med en Swish-aktiverad andra projektion, som fungerar som en lärbar, databeroende grind inuti transformatorns frammatningslager.
Översikt
It consistently improves language-model quality, which is why nearly every modern LLM uses it.
Djupdykning
Ett standardtransformatorframkopplingsblock är två linjära lager med en ReLU eller GELU emellan. Gated Linear Units, föreslagna av Dauphin et al. 2016, dela upp den första projektionen i två halvor och använd ena halvan för att gate den andra via elementvis multiplikation. SwiGLU, populärt av Noam Shazeer 2020, använder Swish (SiLU)-funktionen för den grinden: output = (Swish(xW) * (xV)) W2, med tre viktmatriser istället för två. Grindningen låter nätverket selektivt skicka eller undertrycka information per dimension. Eftersom att lägga till den tredje matrisen ökar parametrarna, krymper implementeringar den dolda dimensionen till ungefär två tredjedelar så att den totala beräkningen förblir jämförbar med en GELU MLP. Shazeers experiment visade mätbara förvirringsvinster, och LLaMA, PaLM och Mistral antog det alla.
Teknisk insikt
Swish är x * sigmoid(beta*x), en jämn, icke-monoton funktion som, till skillnad från ReLU, tillåter små negativa värden. I SwiGLU producerar "gate"-grenen Swish(xW) värden nära 0 eller 1 som multiplicerar "värde"-grenen xV elementvis, så varje dold enhets bidrag moduleras av en inlärd, ingångsberoende signal. Den tredje viktmatrisen är kostnaden; tricket med två tredjedelar av dold storlek håller FLOP-budgeten matchad till ett vaniljframmatningslager.
Strategisk inverkan
Cost and budget
Arkitekturbeslut driver prestanda och driftskostnader i flera år.
Clearer decisions
Teknisk utbildning hjälper team att välja rätt stack, inte bara den nyaste.
Quality control
Bättre tekniska val minskar tillförlitlighetsincidenter i produktionen.
Framtiden för SwiGLU och Gated Activations
SwiGLU är förankrat som standard MLP i öppen vikt LLM och kommer sannolikt inte att förskjutas snart. Aktiva riktningar inkluderar GeGLU- och ReGLU-varianter, sammansmälta GPU-kärnor som beräknar båda projektionerna i ett pass, och kombinerar gated MLPs med en blandning av experter så att varje expert själv är ett SwiGLU-block. Forskare studerar också varför gating hjälper till att optimera, i syfte att designa ännu billigare grindar.
Real-World Implementation
LLaMA, PaLM och Mistral ersätter GELU feed-forward-lagret med SwiGLU för att minska förvirringen vid samma beräkning
Den dolda dimensionen skalas till cirka två tredjedelar (8/3 d) så att den extra gatingmatrisen inte blåser upp FLOP:ar
Blandning-av-expert-modeller som Mixtral använder SwiGLU-block som feed-forward-nätverk per expert
Vision och multimodala transformatorer lånar GeGLU/SwiGLU-grindning för att förbättra sina MLP-underlager
Risker & skyddsräcken
Att optimera ett riktmärke kan dölja bredare systemsvagheter.
Infrastruktur- och underhållskostnader underskattas ofta.
Säkerhets- och observerbarhetsluckor kan växa i takt med att systemen blir mer komplexa.
Färdplan för genomförande
Definiera latens-, kvalitet- och kostnadsmål före implementering.
Benchmark under realistiska belastnings- och dataförhållanden.
Instrumentövervakning för fel, drift och användarpåverkan.
Förbered återställnings- och incidentsvarsvägar innan skalning.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Aktivering omberäkning avvägningar
Frequently asked questions
What is SwiGLU and Gated Activations?
SwiGLU är en gated aktiveringsfunktion som multiplicerar en linjär projektion av ingången med en Swish-aktiverad andra projektion, som fungerar som en lärbar, databeroende grind inuti transformatorns frammatningslager. Det förbättrar konsekvent språkmodellkvaliteten, vilket är anledningen till att nästan alla moderna LLM använder det.
Vilken kärnoperation definierar en grindad linjär enhet?
En GLU multiplicerar en värdeprojektion med en grindprojektion elementvis, vilket låter nätverksstyrningsinformationen flöda per dimension.
Vilken aktiveringsfunktion använder SwiGLU för sin gategren?
SwiGLU använder Swish, även kallat SiLU, definierat som x * sigmoid(beta*x), för gatinggrenen.
Hur många viktmatriser använder ett SwiGLU framkopplingsblock?
SwiGLU behöver tre matriser: grindprojektionen, värdeprojektionen och outputprojektionen.
Varför skalas den dolda dimensionen vanligtvis till cirka två tredjedelar i SwiGLU-lager?
Den tredje matrisen skulle annars blåsa upp beräkningen, så att krympa den dolda storleken till ungefär 8/3 d håller budgeten matchad.
Vem populariserade SwiGLU för frammatningslager för transformatorer 2020?
Noam Shazeers not "GLU Variants Improve Transformer" från 2020 introducerade SwiGLU och visade dess förvirringsvinster.