SwiGLU et activations fermées
SwiGLU est une fonction d'activation fermée qui multiplie une projection linéaire de l'entrée par une deuxième projection activée par Swish, agissant comme une porte apprenable et dépendante des données à l'intérieur des couches de rétroaction du transformateur.
Aperçu
It consistently improves language-model quality, which is why nearly every modern LLM uses it.
Plongée profonde
Un bloc d'anticipation de transformateur standard est constitué de deux couches linéaires avec un ReLU ou un GELU entre les deux. Unités linéaires fermées, proposées par Dauphin et al. en 2016, divisez la première projection en deux moitiés et utilisez une moitié pour ouvrir l'autre via une multiplication par éléments. SwiGLU, popularisé par Noam Shazeer en 2020, utilise la fonction Swish (SiLU) pour cette porte : sortie = (Swish(xW) * (xV)) W2, avec trois matrices de poids au lieu de deux. Le portail permet au réseau de transmettre ou de supprimer sélectivement des informations par dimension. Étant donné que l'ajout de la troisième matrice augmente les paramètres, les implémentations réduisent la dimension cachée à environ deux tiers, de sorte que le calcul total reste comparable à un MLP GELU. Les expériences de Shazeer ont montré des gains de perplexité mesurables, et LLaMA, PaLM et Mistral l'ont tous adopté.
Aperçu technique
Swish est x * sigmoid(beta*x), une fonction fluide et non monotone qui, contrairement à ReLU, laisse passer de petites valeurs négatives. Dans SwiGLU, la branche « porte » Swish(xW) produit des valeurs proches de 0 ou 1 qui multiplient la branche « valeur » xV par élément, de sorte que la contribution de chaque unité cachée est modulée par un signal appris et dépendant de l'entrée. La troisième matrice de pondération est le coût ; l'astuce de taille cachée aux deux tiers maintient le budget FLOP adapté à une couche de rétroaction vanille.
Impact stratégique
Coût et budget
Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
Décisions plus claires
La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
Contrôle qualité
De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
L'avenir de SwiGLU et des activations fermées
SwiGLU est reconnu comme le MLP par défaut dans les LLM à poids ouvert et il est peu probable qu'il soit déplacé de sitôt. Les directions actives incluent les variantes GeGLU et ReGLU, des noyaux GPU fusionnés qui calculent les deux projections en un seul passage et la combinaison de MLP fermés avec un mélange d'experts afin que chaque expert soit lui-même un bloc SwiGLU. Les chercheurs étudient également pourquoi le portail contribue à l’optimisation, dans le but de concevoir des portails encore moins chers.
Mise en œuvre dans le monde réel
LLaMA, PaLM et Mistral remplacent la couche de rétroaction GELU par SwiGLU pour réduire la perplexité à calcul égal
La dimension cachée est réduite à environ deux tiers (8/3 d) afin que la matrice de déclenchement supplémentaire ne gonfle pas les FLOP.
Les modèles de mélange d'experts tels que Mixtral utilisent les blocs SwiGLU comme réseau de rétroaction par expert
Les transformateurs de vision et multimodaux empruntent le déclenchement GeGLU/SwiGLU pour améliorer leurs sous-couches MLP
Risques et garde-fous
L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Feuille de route de mise en œuvre
Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
Benchmark dans des conditions de charge et de données réalistes.
Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Compromis de recalcul d’activation
Questions fréquemment posées
What is SwiGLU and Gated Activations?
SwiGLU est une fonction d'activation fermée qui multiplie une projection linéaire de l'entrée par une deuxième projection activée par Swish, agissant comme une porte apprenable et dépendante des données à l'intérieur des couches de rétroaction du transformateur. Il améliore constamment la qualité du modèle de langage, c'est pourquoi presque tous les LLM modernes l'utilisent.
Quelle opération principale définit une unité linéaire fermée ?
Un GLU multiplie une projection de valeur par une projection de porte par élément, permettant au réseau de contrôler le flux d'informations par dimension.
Quelle fonction d'activation SwiGLU utilise-t-il pour sa branche portail ?
SwiGLU utilise Swish, également appelé SiLU, défini comme x * sigmoid(beta*x), pour la branche de déclenchement.
Combien de matrices de poids un bloc de rétroaction SwiGLU utilise-t-il ?
SwiGLU a besoin de trois matrices : la projection de porte, la projection de valeur et la projection de sortie.
Pourquoi la dimension cachée est-elle généralement réduite à environ deux tiers dans les couches SwiGLU ?
Autrement, la troisième matrice gonflerait le calcul, donc réduire la taille cachée à environ 8/3 d permet de maintenir le budget en adéquation.
Qui a popularisé SwiGLU pour les couches à réaction directe des transformateurs en 2020 ?
La note 2020 de Noam Shazeer « Les variantes GLU améliorent le transformateur » a présenté SwiGLU et a montré ses gains de perplexité.