SwiGLU та закриті активації
SwiGLU — це функція стробованої активації, яка множить одну лінійну проекцію вхідного сигналу на другу проекцію, активовану Swish, діючи як навчальний, залежний від даних шлюз усередині шарів прямого зв’язку трансформатора.
Огляд
It consistently improves language-model quality, which is why nearly every modern LLM uses it.
Глибоке занурення
Стандартний блок прямого зв’язку трансформатора — це два лінійних шари з ReLU або GELU між ними. Гейтовані лінійні одиниці, запропоновані Дофіном та ін. у 2016 році розділіть першу проекцію на дві половини та використовуйте одну половину, щоб отримати іншу за допомогою поелементного множення. SwiGLU, популяризований Ноамом Шазіром у 2020 році, використовує функцію Swish (SiLU) для цього шлюза: вихід = (Swish(xW) * (xV)) W2 із трьома ваговими матрицями замість двох. Шлюзування дозволяє мережі вибірково передавати або приховувати інформацію для кожного виміру. Оскільки додавання третьої матриці збільшує параметри, впровадження зменшує прихований вимір приблизно на дві третини, тому загальний обсяг обчислень залишається порівнянним з GELU MLP. Експерименти Shazeer показали вимірні переваги здивування, і LLaMA, PaLM і Mistral усі це прийняли.
Технічне розуміння
Swish — це x * sigmoid(beta*x), гладка, немонотонна функція, яка, на відміну від ReLU, допускає малі від’ємні значення. У SwiGLU гілка «шлюзу» Swish(xW) створює значення, близькі до 0 або 1, які множать гілку «значення» xV поелементно, тому внесок кожного прихованого блоку модулюється вивченим, залежним від входу сигналом. Третя вагова матриця – вартість; трюк із прихованим розміром у дві третини зберігає бюджет FLOP узгодженим із ванільним шаром прямої подачі.
Стратегічний вплив
Вартість і бюджет
Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
Чіткіші рішення
Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
Контроль якості
Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Майбутнє SwiGLU та закритих активацій
SwiGLU закріплено як MLP за замовчуванням у відкритих LLM і навряд чи скоро буде витіснений. Активні напрямки включають варіанти GeGLU та ReGLU, об’єднані ядра графічного процесора, які обчислюють обидві проекції за один прохід, і поєднання стробованих MLP із сумішшю експертів, щоб кожен експерт сам по собі був блоком SwiGLU. Дослідники також вивчають, чому гейтинг сприяє оптимізації, прагнучи розробити ще дешевші ворота.
Реалізація в реальному світі
LLaMA, PaLM і Mistral замінюють прямий рівень GELU на SwiGLU, щоб зменшити здивування при однакових обчисленнях
Прихований вимір масштабується приблизно до двох третин (8/3 d), тому додаткова матриця стробування не збільшує FLOP
Моделі суміші експертів, такі як Mixtral, використовують блоки SwiGLU як мережу прямого зв’язку для кожного експерта
Візуальні та мультимодальні трансформатори запозичили стробування GeGLU/SwiGLU для покращення підрівнів MLP
Ризики та огорожі
Оптимізація одного тесту може приховати ширші слабкі сторони системи.
Витрати на інфраструктуру та обслуговування часто недооцінюються.
Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Дорожня карта впровадження
Визначте цільові показники затримки, якості та вартості перед впровадженням.
Тест за реалістичних умов навантаження та даних.
Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Компроміси від повторного обчислення активації
Часті запитання
What is SwiGLU and Gated Activations?
SwiGLU — це функція стробованої активації, яка множить одну лінійну проекцію вхідного сигналу на другу проекцію, активовану Swish, діючи як навчальний, залежний від даних шлюз усередині шарів прямого зв’язку трансформатора. Він постійно покращує якість мовної моделі, тому його використовує майже кожен сучасний LLM.
Яка основна операція визначає стробований лінійний блок?
GLU множить проекцію значення на проекцію воріт поелементно, дозволяючи мережі контролювати потік інформації для кожного виміру.
Яку функцію активації використовує SwiGLU для своєї гілки воріт?
SwiGLU використовує Swish, також званий SiLU, визначений як x * sigmoid(beta*x), для гілки стробування.
Скільки вагових матриць використовує блок прямої подачі SwiGLU?
SwiGLU потребує трьох матриць: проекції воріт, проекції значення та проекції виходу.
Чому прихований вимір зазвичай масштабується приблизно до двох третин у шарах SwiGLU?
Інакше третя матриця збільшила б обчислення, тому зменшення прихованого розміру приблизно до 8/3 d зберігає відповідність бюджету.
Хто популяризував SwiGLU для шарів прямого зв’язку трансформатора у 2020 році?
У нотатці Ноама Шазіра за 2020 рік «Варіанти GLU покращують трансформатор» було представлено SwiGLU та продемонстровано його здивування.