ДалееСледующее руководство
Batch vs Real-Time Inference
Технический
Техническое РУКОВОДСТВО
Пакетная нормализация
Пакетная нормализация — это метод, который масштабирует входные данные для каждого слоя нейронной сети во время обучения, благодаря чему глубокие сети обучаются быстрее и надежнее.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Это стало одним из самых широко используемых трюков в глубоком обучении.
Глубокое погружение
По мере того как данные проходят через глубокую сеть, распределение значений, передаваемых на каждый уровень, продолжает меняться по мере обновления более ранних слоев, что замедляет и дестабилизирует обучение. Пакетная нормализация, введенная Иоффе и Сегеди в 2015 году, решает эту проблему путем нормализации входных данных каждого слоя в текущей мини-партии, чтобы они имели примерно нулевое среднее значение и единичную дисперсию. Затем он применяет два обучаемых параметра, гамму и бета, которые позволяют сети масштабироваться и сдвигать нормализованные значения обратно, если это помогает, поэтому она не теряет репрезентативной силы. Выгода велика: сети допускают более высокие скорости обучения, сходятся за меньшее количество эпох, менее чувствительны к инициализации весов и часто немного лучше обобщают. Загвоздка в том, что поведение зависит от статистики пакетов, поэтому очень маленькие пакеты могут сделать его нестабильным.
Реальная реализация
Вставка слоев пакетной нормы в классификатор изображений ResNet, чтобы он мог обучаться с более высокой скоростью обучения и сходиться за гораздо меньшее количество эпох.
Стабилизация обучения глубокой сверточной сети для медицинской визуализации, которая ранее расходилась без нормализации.
Снижение чувствительности к инициализации веса в пользовательской CNN, поэтому инженеры тратят меньше времени на настройку начальных значений вручную.
Переключение с пакетной статистики режима обучения на сохраненные текущие средние значения при развертывании модели, чтобы прогнозы по одному изображению оставались согласованными.
Будущее пакетной нормализации
Пакетная нормализация остается рабочей лошадкой в моделях сверточного видения, но ее зависимость от пакетной статистики неудобна для рекуррентных сетей, небольших пакетов и распределенного обучения. Это привело к принятию альтернатив, таких как нормализация слоев, которая нормализует функции в одном примере и теперь доминирует в архитектурах преобразователей, а также нормализация групп и экземпляров для конкретных областей. Продолжаются исследования сетей без нормализации, преимущества которых достигаются за счет тщательной инициализации и масштабирования. Ожидается, что нормализация останется необходимой, а конкретный вариант будет выбран в соответствии с архитектурой.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Batch Normalization quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое пакетная нормализация?
Пакетная нормализация — это метод, который масштабирует входные данные для каждого слоя нейронной сети во время обучения, благодаря чему глубокие сети обучаются быстрее и надежнее. Это стало одним из наиболее широко используемых приемов в глубоком обучении.
Что нормализует пакетная нормализация?
Пакетная норма стандартизирует входные данные слоя, используя среднее значение и дисперсию, вычисленные для текущего мини-пакета, сохраняя активации в стабильном диапазоне по мере продолжения обучения.
Почему пакетная нормализация включает в себя обучаемые параметры гамма и бета?
После нормализации до нуля среднего и единичной дисперсии гамма и бета позволяют сети масштабировать и повторно смещать значения, если это полезно, поэтому нормализация не ограничивает то, что может представлять слой.
Какова часто упоминаемая практическая польза нормализации партии?
Поддерживая хорошее масштабирование входных данных слоев, пакетная норма позволяет сетям обучаться с более высокими скоростями обучения, быстрее сходиться и быть менее чувствительными к инициализации.
Какую статистику использует пакетная нормализация во время вывода (прогнозирования на основе новых данных)?
Использование статистики живой партии при выводе приведет к тому, что прогноз будет зависеть от того, какие другие примеры разделяют эту партию. Вместо этого пакетная норма использует фиксированные средние значения, сохраняемые во время обучения.
Почему нормализация партий может плохо работать при очень маленьких размерах партий?
Норма партии зависит от оценки среднего значения и отклонения от партии. Если примеров очень мало, эти оценки зашумлены, что может дестабилизировать обучение.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме