ДалееСледующее руководство
Нормализация слоев
Технический
Техническое РУКОВОДСТВО
RMSNorm и нормализация предварительного слоя
RMSNorm — это облегченный слой нормализации, который масштабирует активации по их среднеквадратическим значениям, а нормализация предварительного уровня помещает этот шаг перед каждым подслоем, а не после него.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Вместе они позволяют глубоким трансформерам тренироваться стабильно без ухищрений с разминкой.
Глубокое погружение
Standard LayerNorm вычитает среднее значение и делит его на стандартное отклонение по вектору объектов, затем применяет изученный масштаб и сдвиг. RMSNorm, представленный Чжаном и Сеннричем в 2019 году, полностью исключает центрирование среднего и смещение: он просто делит каждый вектор на среднеквадратичное значение его элементов и умножает на изученный прирост для каждого признака. При этом удаляется одна статистика и несколько операций, что сокращает объем вычислений примерно на 10–50 % на нормальном уровне при сохранении точности. Отдельно, размещение «Pre-LN» (норма перед вниманием/MLP, с чистым остаточным путем вокруг него) сохраняет границы градиента при инициализации, поэтому такие модели, как GPT-3, LLaMA и PaLM, обучаются без хаков для разминки скорости обучения, которые требовались исходному преобразователю Post-LN.
Реальная реализация
LLaMA, Mistral и Qwen заменяют LayerNorm на RMSNorm, чтобы сократить задержку вывода на каждом токене.
Pre-LN позволяет моделям в стиле GPT обучаться без разогрева скорости обучения, который требовался преобразователю Post-LN 2017 года.
QK-нормализация использует RMSNorm для запросов и ключей внимания, чтобы предотвратить взрыв логитов в больших моделях.
Мобильные и периферийные преобразователи используют RMSNorm, поскольку снижение среднего и смещения снижает трафик памяти.
Будущее RMSNorm и нормализации предварительного уровня
RMSNorm теперь используется по умолчанию в большинстве LLM с открытым весом (LLaMA, Mistral, Qwen, Gemma), поэтому ожидайте, что он останется стандартным. Исследования совершенствуют рецепт: QK-norm применяет RMSNorm к запросам на внимание и ключам для сдерживания роста логита, а некоторые лаборатории комбинируют пре- и пост-нормы («сэндвич» или «пери-LN») для дополнительной стабильности в масштабе триллиона параметров. Аппаратные ядра продолжают объединять операции для повышения скорости.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the RMSNorm and Pre-Layer Normalization quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое RMSNorm и нормализация предварительного слоя?
RMSNorm — это облегченный слой нормализации, который масштабирует активации по их среднеквадратическим значениям, а нормализация предварительного уровня помещает этот шаг перед каждым подслоем, а не после него. Вместе они позволяют глубоким трансформерам тренироваться стабильно без ухищрений с разминкой.
Что отсутствует в RMSNorm по сравнению со стандартным LayerNorm?
RMSNorm пропускает вычисление и вычитание среднего значения, нормализуя только среднеквадратическое значение активаций.
На какую величину RMSNorm делит каждый вектор активации?
RMSNorm делит на sqrt среднее значение квадратов элементов, т. е. среднеквадратичное значение, а затем применяет полученный коэффициент усиления.
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
Какой путь в блоке Pre-LN намеренно оставляет нетронутым уровень нормализации?
Pre-LN нормализует входные данные для подслоя, но остаточный ярлык обходит их, сохраняя чистую градиентную магистраль.
Какие современные семейства моделей с открытым весом используют RMSNorm по умолчанию?
RMSNorm стал стандартной нормализацией в LLaMA, Mistral, Qwen, Gemma и последних LLM.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме