SwiGLU en gated activeringen
SwiGLU is een gated activatiefunctie die één lineaire projectie van de invoer vermenigvuldigt met een Swish-geactiveerde tweede projectie, die fungeert als een leerbare, data-afhankelijke poort binnen de feed-forward-lagen van de transformator.
Overzicht
It consistently improves language-model quality, which is why nearly every modern LLM uses it.
Diepe duik
Een standaard transformatorfeedforwardblok bestaat uit twee lineaire lagen met daartussen een ReLU of GELU. Gated lineaire eenheden, voorgesteld door Dauphin et al. splits in 2016 de eerste projectie in twee helften en gebruik de ene helft om de andere te poort via elementgewijze vermenigvuldiging. SwiGLU, gepopulariseerd door Noam Shazeer in 2020, gebruikt de Swish (SiLU) -functie voor die poort: output = (Swish(xW) * (xV)) W2, met drie gewichtsmatrices in plaats van twee. Door de poort kan het netwerk per dimensie selectief informatie doorgeven of onderdrukken. Omdat het toevoegen van de derde matrix de parameters vergroot, verkleinen implementaties de verborgen dimensie tot ongeveer tweederde, zodat de totale rekenkracht vergelijkbaar blijft met een GELU MLP. De experimenten van Shazeer toonden meetbare toename van verwarring aan, en LLaMA, PaLM en Mistral namen dit allemaal over.
Technisch inzicht
Swish is x * sigmoid(beta*x), een vloeiende, niet-monotone functie die, in tegenstelling tot ReLU, kleine negatieve waarden doorlaat. In SwiGLU produceert de 'poort'-tak Swish(xW) waarden in de buurt van 0 of 1 die de 'waarde'-tak xV elementsgewijs vermenigvuldigen, zodat de bijdrage van elke verborgen eenheid wordt gemoduleerd door een geleerd, ingangsafhankelijk signaal. De derde gewichtsmatrix zijn de kosten; de tweederde verborgen truc zorgt ervoor dat het FLOP-budget wordt afgestemd op een vanille-feed-forward-laag.
Strategische impact
Cost and budget
Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
Clearer decisions
Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
Quality control
Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
De toekomst van SwiGLU en gated activaties
SwiGLU is verankerd als de standaard MLP in LLM's met een open gewicht en het is onwaarschijnlijk dat dit binnenkort zal worden vervangen. Actieve richtingen omvatten GeGLU- en ReGLU-varianten, gefuseerde GPU-kernels die beide projecties in één keer berekenen, en het combineren van gated MLP's met een mix van experts, zodat elke expert zelf een SwiGLU-blok is. Onderzoekers bestuderen ook waarom poortoptimalisatie helpt bij het ontwerpen van nog goedkopere poorten.
Implementatie in de echte wereld
LLaMA, PaLM en Mistral vervangen de GELU feed-forward-laag door SwiGLU om de verwarring bij gelijke rekenkracht te verminderen
De verborgen dimensie is geschaald naar ongeveer tweederde (8/3 d), zodat de extra poortmatrix FLOP's niet opblaast
Mixture-of-experts-modellen zoals Mixtral gebruiken SwiGLU-blokken als feed-forward-netwerk per expert
Vision- en multimodale transformatoren lenen GeGLU/SwiGLU-poorten om hun MLP-sublagen te verbeteren
Risico's en vangrails
Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
Infrastructuur- en onderhoudskosten worden vaak onderschat.
De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Implementatie routekaart
Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
Benchmark onder realistische belasting- en gegevensomstandigheden.
Instrumentbewaking op fouten, drift en gebruikersimpact.
Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Afwegingen bij herberekening van activering
Frequently asked questions
What is SwiGLU and Gated Activations?
SwiGLU is een gated activatiefunctie die één lineaire projectie van de invoer vermenigvuldigt met een Swish-geactiveerde tweede projectie, die fungeert als een leerbare, data-afhankelijke poort binnen de feed-forward-lagen van de transformator. Het verbetert consequent de kwaliteit van het taalmodel, en daarom gebruikt bijna elke moderne LLM het.
Welke kernoperatie definieert een Gated Linear Unit?
Een GLU vermenigvuldigt een waardeprojectie per element met een poortprojectie, waardoor het netwerk de informatie per dimensie kan laten stromen.
Welke activeringsfunctie gebruikt SwiGLU voor zijn poorttak?
SwiGLU gebruikt Swish, ook wel SiLU genoemd, gedefinieerd als x * sigmoid(beta*x), voor de poortvertakking.
Hoeveel gewichtsmatrices gebruikt een SwiGLU feed-forward blok?
SwiGLU heeft drie matrices nodig: de poortprojectie, de waardeprojectie en de uitvoerprojectie.
Waarom wordt de verborgen dimensie doorgaans geschaald naar ongeveer tweederde in SwiGLU-lagen?
De derde matrix zou anders de rekenkracht vergroten, dus door de verborgen grootte te verkleinen tot ongeveer 8/3 d blijft het budget op peil.
Wie heeft SwiGLU in 2020 gepopulariseerd voor transformator-feedforward-lagen?
Noam Shazeer's notitie uit 2020 'GLU Variants Improve Transformer' introduceerde SwiGLU en toonde de toename van de verwarring.