ДаліНаступний посібник
Стохастичний градієнтний спуск з імпульсом
основи
ПОСІБНИК З ОСНОВ
Випадання та стохастична регуляризація
Dropout — це трюк регуляризації, який випадковим чином вимикає частину нейронів під час кожного кроку навчання, змушуючи мережу створювати надлишкові надійні представлення.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Це стало одним із найвпливовіших методів боротьби з переобладнанням у глибокому навчанні.
Глибоке занурення
Запроваджене групою Хінтона приблизно в 2012 році, відсівання усуває ключову слабкість великих мереж: нейрони можуть коадаптуватися, навчаючись виправляти помилки один одного таким чином, щоб працювати лише на даних навчання. Під час кожного проходу вперед під час навчання, відключення випадковим чином встановлює вихід кожного нейрона на нуль з деякою ймовірністю p (часто 0,5 у щільних шарах). Оскільки будь-який нейрон може зникнути, мережа не може спиратися на крихкі партнерства і повинна поширювати корисну інформацію між багатьма підрозділами. Це діє як тренування величезного ансамблю тонких мереж, які розподіляють вагу. Під час тестування відключення вимикається, і використовується повна мережа з масштабуванням активацій, щоб очікуваний результат відповідав навчанню. Результатом є, як правило, краще узагальнення ціною трохи довшого навчання.
Реалізація в реальному світі
Додавання шару Dropout із p близько 0,5 між щільними шарами класифікатора зображення чи тексту в PyTorch або Keras
Трансформаторні моделі, які застосовують відсівання до ваг уваги та активації прямого передавання під час попереднього навчання
Відключення за методом Монте-Карло, де відключення залишається ввімкненим під час висновку для отримання оцінок невизначеності для медичних або важливих для безпеки прогнозів
Стохастична глибина (DropPath) випадковим чином пропускає залишкові блоки для регулярізації дуже глибоких мереж, таких як ResNets і трансформатори зору
Майбутнє відсіву та стохастичної регуляризації
У мережах згорткового бачення пакетна нормалізація значною мірою витіснила стандартне відсівання, але варіанти процвітають в інших місцях: трансформатори застосовують відсіювання до рівнів уваги та передавання, а DropPath (стохастична глибина) відкидає цілі залишкові блоки. Для оцінки невизначеності моделі використовується відключення за методом Монте-Карло, яке зберігає відключення активним під час висновку. Очікуйте, що стохастична регулярізація залишиться гнучким інструментарієм, адаптованим до архітектури, а не єдиним фіксованим рецептом.
Застосування на практиці
Чому це важливо
- Чіткіші рішення. Це допоможе вам відокремити чіткі технічні заяви від маркетингової мови.
- Вартість і бюджет. Перш ніж витрачати гроші чи час, ви можете задати питання про кращу реалізацію.
- Команда та робочий процес. Команди зі спільним розумінням приймають кращі рішення щодо продуктів, політики та навчання.
Зверніть увагу на
- Різні команди можуть використовувати той самий термін по-різному, тому визначте обсяг завчасно.
- Порівняльні показники можуть виглядати сильними, тоді як продуктивність у реальному світі нерівномірна.
- Ігнорування якості даних і планів оцінки часто призводить до нестабільних результатів.
Наступні кроки
- Почніть із простого визначення необхідного результату.
- Перед тестуванням виберіть одну метрику успіху та одну умову невдачі.
- Запустіть невеликий пілот із репрезентативними даними, а не відшліфованим демонстраційним набором.
- Задокументуйте, де Dropout і Stochastic Regularization допомагають, а де простіші методи кращі.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Візьміть участь у тесті Dropout and Stochastic Regularization
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке Dropout і стохастична регуляризація?
Dropout — це трюк регуляризації, який випадковим чином вимикає частину нейронів під час кожного кроку навчання, змушуючи мережу створювати надлишкові надійні представлення. Це стало одним із найвпливовіших методів боротьби з переобладнанням у глибокому навчанні.
Що робить відсівання під час навчання?
Випадання випадковим чином обнулює кожен нейрон з імовірністю p під час навчання, тому на кожному кроці використовується інша розріджена підмережа.
Чому відсів покращує узагальнення?
Довільно видаляючи одиниці, відсівання зупиняє нейрони від формування крихких партнерств, які працюють лише на тренувальних даних, покращуючи надійність.
Що відбувається з випаданням під час перевірки (виведення)?
Під час висновку повна мережа працює з вимкненим відключенням, а активації масштабуються, щоб очікувані результати відповідали розподілу навчання.
Показник відсіву p = 0,5 у шарі означає приблизно що під час навчання?
При p = 0,5 кожен нейрон має 50-відсотковий шанс бути обнуленим, тому в середньому близько половини втрачається за один прохід вперед.
Що часто називають приблизним відсіванням?
Вибірка різних підмереж на кожному кроці наближається до усереднення за експоненціальною кількістю спільно вагових мереж, що є формою дешевого ансамблю.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми