ДалееСледующее руководство
Стохастический градиентный спуск с импульсом
Основы
РУКОВОДСТВО ПО ОСНОВАМ
Отсев и стохастическая регуляризация
Dropout — это трюк регуляризации, который случайным образом отключает часть нейронов на каждом этапе обучения, заставляя сеть строить избыточные, надежные представления.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
It became one of the most influential techniques for fighting overfitting in deep learning.
Глубокое погружение
Метод отсева, представленный группой Хинтона примерно в 2012 году, устраняет ключевую слабость больших сетей: нейроны могут совместно адаптироваться, обучаясь исправлять ошибки друг друга способами, которые работают только на обучающих данных. При каждом прямом проходе во время обучения метод dropout случайным образом устанавливает выходной сигнал каждого нейрона равным нулю с некоторой вероятностью p (часто 0,5 в плотных слоях). Поскольку любой нейрон может исчезнуть, сеть не может опираться на хрупкие партнерства и должна распространять полезную информацию среди многих подразделений. Это похоже на обучение огромного ансамбля прореженных сетей, имеющих общий вес. Во время тестирования отключение отключается и используется вся сеть, а активации масштабируются таким образом, чтобы ожидаемый результат соответствовал обучению. Результатом обычно является лучшее обобщение за счет немного более длительного обучения.
Реальная реализация
Добавление слоя Dropout с p около 0,5 между плотными слоями классификатора изображения или текста в PyTorch или Keras
Модели-трансформеры, применяющие отсев к весам внимания и активации прямой связи во время предварительной тренировки
Отсев по методу Монте-Карло, когда отсев остается включенным при выводе для получения оценок неопределенности для медицинских прогнозов или прогнозов, важных для безопасности.
Стохастическая глубина (DropPath) случайным образом пропускает остаточные блоки для упорядочения очень глубоких сетей, таких как ResNet и преобразователи изображения.
Будущее отсева и стохастической регуляризации
В сетях сверточного зрения пакетная нормализация в значительной степени вытеснила стандартное исключение, но варианты процветают и в других местах: преобразователи применяют исключение к слоям внимания и прямой связи, а DropPath (стохастическая глубина) удаляет целые остаточные блоки. Отсев по методу Монте-Карло, который поддерживает отсев активным при выводе, используется для оценки неопределенности модели. Ожидается, что стохастическая регуляризация останется гибким набором инструментов, адаптированным для каждой архитектуры, а не одним фиксированным рецептом.
Применение на практике
Почему это важно
- Более четкие решения. Это поможет вам отделить четкие технические заявления от маркетингового языка.
- Стоимость и бюджет. Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
- Команда и рабочий процесс. Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Следите за
- Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
- Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
- Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Следующие шаги
- Начните с простого определения желаемого результата.
- Перед тестированием выберите один показатель успеха и одно условие отказа.
- Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
- Документируйте, где помогают Dropout и стохастическая регуляризация и где более простые методы лучше.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Dropout and Stochastic Regularization quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is Dropout and Stochastic Regularization?
Dropout — это трюк регуляризации, который случайным образом отключает часть нейронов на каждом этапе обучения, заставляя сеть строить избыточные, надежные представления. Это стало одним из самых влиятельных методов борьбы с переобучением в глубоком обучении.
Что делает отсев во время обучения?
Dropout случайным образом обнуляет каждый нейрон с вероятностью p во время обучения, поэтому на каждом этапе используется другая прореженная подсеть.
Почему отсев улучшает обобщение?
Случайным удалением единиц отсев не позволяет нейронам образовывать хрупкие партнерства, которые работают только с обучающими данными, повышая надежность.
Что происходит с отсевом во время тестирования (вывода)?
При выводе вся сеть работает с отключенным отключением, а активации масштабируются так, чтобы ожидаемые результаты соответствовали распределению обучения.
Что примерно означает показатель отсева p = 0,5 в слое во время обучения?
При p = 0,5 каждый нейрон имеет 50-процентную вероятность обнуления, поэтому в среднем за один проход вперед отбрасывается около половины.
Что такое отсев часто называют аппроксимацией?
Выборка из разных подсетей на каждом этапе приближается к усреднению по экспоненциальному числу сетей с общим весом, что является формой дешевого ансамбля.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме