Технічний КЕРІВНИЦТВО
RMSNorm і нормалізація попереднього рівня
RMSNorm — це полегшений рівень нормалізації, який масштабує активації за їх середньоквадратичним коренем, а нормалізація попереднього рівня розміщує цей крок перед кожним підрівнем, а не після.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Together they make deep transformers train stably without warmup tricks.
Глибоке занурення
Standard LayerNorm віднімає середнє значення та ділить на стандартне відхилення по вектору ознак, а потім застосовує вивчений масштаб і зсув. RMSNorm, представлений Чжаном і Сенріхом у 2019 році, повністю скасовує центрування середнього значення та зміщення: він просто ділить кожен вектор на середній квадрат його елементів і множить на вивчене посилення для кожної функції. Це видаляє одну статистику та кілька операцій, скорочуючи обчислення приблизно на 10-50% у стандартному шарі, зберігаючи при цьому точність. Окремо розміщення «Pre-LN» (норма до уваги/MLP, з чистим залишковим контуром навколо нього) зберігає величини градієнта обмеженими під час ініціалізації, тому такі моделі, як GPT-3, LLaMA та PaLM, тренуються без хаків для розігріву швидкості навчання, яких вимагав оригінальний трансформатор Post-LN.
Реалізація в реальному світі
LLaMA, Mistral і Qwen замінюють LayerNorm на RMSNorm, щоб зменшити затримку висновку для кожного маркера
Pre-LN дозволяє моделям у стилі GPT тренуватися без розігріву швидкості навчання, яка потрібна для трансформатора Post-LN 2017 року
Нормалізація QK використовує RMSNorm для запитів уваги та ключів, щоб запобігти вибуху логів у великих моделях
Мобільні та периферійні трансформатори використовують RMSNorm, оскільки зниження середнього значення та зміщення зменшує трафік пам’яті
Майбутнє RMSNorm і нормалізації попереднього рівня
RMSNorm тепер є типовим у більшості відкритих LLM (LLaMA, Mistral, Qwen, Gemma), тому очікуйте, що він залишиться стандартним. Дослідження уточнюють рецепт: QK-норма застосовує RMSNorm до запитів на увагу та ключів, щоб приборкати зростання логіту, а деякі лабораторії поєднують пре- та пост-норму («сендвіч» або «пери-LN») для додаткової стабільності в масштабі трильйонів параметрів. Апаратні ядра постійно зливають роботу для підвищення швидкості.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the RMSNorm and Pre-Layer Normalization quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is RMSNorm and Pre-Layer Normalization?
RMSNorm — це полегшений рівень нормалізації, який масштабує активації за їх середньоквадратичним коренем, а нормалізація попереднього рівня розміщує цей крок перед кожним підрівнем, а не після. Разом вони дозволяють глибоким трансформерам тренуватися стабільно без трюків з розминкою.
Що не містить RMSNorm порівняно зі стандартним LayerNorm?
RMSNorm пропускає обчислення та віднімання середнього значення, нормалізуючи лише середнє квадратичне значення активацій.
На яку величину RMSNorm ділить кожен вектор активації?
RMSNorm ділить на sqrt середнє значення квадратів елементів, тобто середньоквадратичне значення, а потім застосовує вивчене посилення.
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
У блоці Pre-LN, який шлях шар нормалізації навмисно залишає недоторканим?
Pre-LN нормалізує введення до підшару, але залишковий ярлик обходить його, зберігаючи чисту магістраль градієнта.
Які сучасні сімейства відкритих моделей використовують RMSNorm за замовчуванням?
RMSNorm став стандартною нормалізацією в LLaMA, Mistral, Qwen, Gemma та останніх LLM.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми