Переоснащение и недостаточное оснащение
Переоснащение — это когда модель запоминает данные обучения и терпит неудачу на новых примерах; Недостаточная подгонка — это когда слишком просто уловить реальную закономерность.
Обзор
Hitting the sweet spot between them is the central challenge of machine learning.
Глубокое погружение
Каждая модель подходит для конечного обучающего набора, но цель состоит в том, чтобы хорошо работать на невидимых данных. Модель переобучения рассматривает шум и особенности обучающего набора так, как если бы они были реальным сигналом: он может получить 99% на обучающих данных, но упасть до 70% на тестовом наборе. Модель недостаточного соответствия представляет собой противоположную проблему: она слишком жесткая, чтобы отразить основную структуру, поэтому она плохо справляется как с обучающими, так и с тестовыми данными. Разрыв между обучением и результатами тестов является характерным признаком. Недооснащение везде проявляется как высокая ошибка (большая погрешность); переобучение проявляется как низкая ошибка обучения, но высокая ошибка теста (высокая дисперсия). Навык заключается в том, чтобы распознать, какая у вас проблема, потому что способы ее устранения тянутся в противоположных направлениях.
Техническая информация
Переоснащение и недостаточное оснащение — это два конца компромисса между смещением и дисперсией. Предвзятость — это ошибка, вызванная чрезмерно упрощенными предположениями; дисперсия — это ошибка из-за слишком чувствительности к конкретной обучающей выборке. Крошечная линейная модель имеет высокую предвзятость и низкую дисперсию (недостаточное соответствие); огромная неограниченная модель имеет низкое смещение и высокую дисперсию (переобучение). Общая ожидаемая ошибка примерно разлагается как квадрат смещения плюс дисперсия плюс неуменьшаемый шум. Практики обнаруживают проблему, сравнивая точность обучающего набора с отложенным проверочным набором, наблюдая, где расходятся две кривые.
Стратегическое воздействие
Более четкие решения
Это поможет вам отделить четкие технические заявления от маркетингового языка.
Стоимость и бюджет
Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
Команда и рабочий процесс
Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Будущее переоснащения и недостаточного оснащения
Эти концепции остаются основополагающими, но очень большие нейронные сети усложнили классическую картину. Современные модели могут иметь гораздо больше параметров, чем точек данных, но при этом хорошо обобщать. Это удивительный режим, который иногда называют «двойным спуском», когда ошибка теста снова падает после пика переобучения. Исследования все чаще сосредотачиваются на том, почему чрезмерно параметризованные модели обобщаются, на роли неявной регуляризации в оптимизаторах и на улучшении автоматического обнаружения сдвига распределения. Ожидайте более подробной диагностики, которая выявляет переобучение в производстве, поскольку реальные данные отклоняются от данных обучения.
Реальная реализация
Спам-фильтр, который помечает каждое электронное письмо, содержащее имя определенного отправителя, потому что этот отправитель сильно рассылал спам в обучающих данных, полностью пропуская новых спамеров (переоснащение).
Модель цен на жилье, в которой используется только площадь в квадратных метрах и игнорируется местоположение, спальни и состояние, поэтому она плохо работает в дорогих районах (недостаточное оснащение).
Классификатор медицинских изображений, который учится обнаруживать водяной знак сканера больницы вместо заболевания и терпит неудачу в других больницах (переподбор ложного признака).
Построение графика потерь при обучении в сравнении с потерями при проверке во время обучения и остановке, когда потери при проверке начинают расти, в то время как потери при обучении продолжают падать (раннее обнаружение переобучения).
Риски и ограничения
Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Дорожная карта реализации
Начните с простого определения желаемого результата.
Перед тестированием выберите один показатель успеха и одно условие отказа.
Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
Документируйте, где помогает переоснащение и недостаточное оснащение и где более простые методы лучше.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Обратное распространение ошибки
Часто задаваемые вопросы
What is Overfitting and Underfitting?
Переоснащение — это когда модель запоминает данные обучения и терпит неудачу на новых примерах; Недостаточная подгонка — это когда слишком просто уловить реальную закономерность. Найти золотую середину между ними — главная задача машинного обучения.
Модель набирает 98% баллов на обучающих данных, но только 71% на проверенном наборе тестов. Какова наиболее вероятная проблема?
Большой разрыв, когда точность обучения высока, но точность теста намного ниже, является классическим признаком переобучения: модель соответствует шуму в обучающих данных, а не общей закономерности.
Какой сценарий лучше всего описывает недостаточное оснащение?
Модель недостаточного соответствия слишком проста, чтобы уловить лежащий в ее основе шаблон, поэтому она плохо работает везде, в том числе на данных, на которых она обучалась.
С каким результатом в компромиссе смещения и дисперсии больше всего связана высокая дисперсия?
Высокая дисперсия означает, что модель сильно меняется в зависимости от конкретных обучающих данных, которые она видит, что приводит к переобучению. Высокая предвзятость — это противоположный, слишком упрощенный результат.
Модель кредита по умолчанию использует только возраст заявителя и игнорирует доход, долг и кредитную историю. Он плохо работает как с обучением, так и с новыми данными. Что вам следует делать?
Плохая производительность повсюду свидетельствует о недостаточном оснащении. Решение состоит в том, чтобы увеличить емкость модели, часто путем добавления информативных функций, чтобы она могла отражать истинные отношения.
Почему отсроченная проверка или набор тестов необходимы для обнаружения переобучения?
Переоснащение незаметно, если вы смотрите только на точность обучения. Оценка невидимых данных обнажает разрыв между запоминанием и подлинным обобщением.