Прекомерно и недостатъчно оборудване
Пренастройването е, когато моделът запаметява своите данни за обучение и се проваля на нови примери; недостатъчното приспособяване е, когато е твърде просто да се улови истинският модел.
Преглед
Hitting the sweet spot between them is the central challenge of machine learning.
Дълбоко гмуркане
Всеки модел е подходящ за краен набор за обучение, но целта е да се представя добре при невидими данни. Моделът с прекомерно приспособяване третира шума и странностите на набора за обучение, сякаш са истински сигнал: той може да постигне 99% от данните за обучението, но да се свие до 70% при набор от тестове. Моделът с недостатъчна годност е противоположният проблем, твърде твърд, за да улови основната структура, така че се справя лошо както с данните за обучение, така и с тестовите данни. Разликата между обучението и изпълнението на теста е издайническият знак. Недостатъчното приспособяване се показва като висока грешка навсякъде (високо отклонение); overfitting показва като ниска грешка при обучение, но висока грешка при тестване (висока дисперсия). Умението е да разпознаете кой проблем имате, защото поправките теглят в противоположни посоки.
Техническа информация
Прекомерното и недостатъчното оборудване са двата края на компромиса между отклонение и вариация. Пристрастието е грешка от прекалено опростени предположения; дисперсията е грешка от това, че е твърде чувствителен към конкретната извадка за обучение. Малък линеен модел има голямо отклонение и ниска дисперсия (недостатъци); огромен неограничен модел има ниско отклонение и висока дисперсия (overfits). Общата очаквана грешка грубо се разлага като отклонение на квадрат плюс дисперсия плюс нередуцируем шум. Практиците откриват проблема, като сравняват точността на набора за обучение с набор за задържан валидиране, наблюдавайки къде двете криви се разминават.
Стратегическо въздействие
Clearer decisions
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Cost and budget
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Team and workflow
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Бъдещето на свръхоборудването и недостатъчното оборудване
Тези концепции остават основополагащи, но много големите невронни мрежи усложниха класическата картина. Съвременните модели могат да имат много повече параметри от точките с данни, но все още се обобщават добре, изненадващ режим, понякога наричан „двойно спускане“, при който грешката на теста намалява отново след пика на пренастройване. Изследванията все повече се фокусират върху това защо свръхпараметризираните модели обобщават, ролята на имплицитната регуляризация в оптимизаторите и по-доброто автоматизирано откриване на изместването на разпределението. Очаквайте по-богата диагностика, която отбелязва прекомерното оборудване в производството, тъй като данните от реалния свят се отдалечават от данните за обучение.
Внедряване в реалния свят
Филтър за нежелана поща, който маркира с флаг всеки имейл, съдържащ име на конкретен подател, защото този подател се е случило да изпрати много нежелана поща в данните за обучение, пропускайки изцяло новите разпращащи нежелана поща (пренастройване).
Модел на цена на жилище, използващ само квадратни кадри и игнориращ местоположение, спални и състояние, така че пропуска лошо в скъпите квартали (недостатъчно оборудване).
Класификатор на медицински изображения, който се научава да открива водния знак на болничния скенер вместо болестта и се проваля в други болници (пренастройване до фалшива функция).
График на загубата при обучение спрямо загубата при валидиране по време на обучение и спиране, когато загубата при валидиране започне да се покачва, докато загубата при обучение продължава да намалява (улавяне на прекомерното оборудване рано).
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Документирайте къде Overfitting и Underfitting помага и къде по-простите методи са по-добри.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Обратно разпространение
Frequently asked questions
What is Overfitting and Underfitting?
Пренастройването е, когато моделът запаметява своите данни за обучение и се проваля на нови примери; недостатъчното приспособяване е, когато е твърде просто да се улови истинският модел. Постигането на доброто място между тях е централното предизвикателство на машинното обучение.
Един модел постига 98% резултат от своите данни за обучение, но само 71% при набор от тестове. Какъв е най-вероятният проблем?
Голяма празнина, при която точността на обучението е висока, но точността на теста е много по-ниска, е класическият признак на пренастройване: шумът от напасването на модела в данните за обучение, а не общият модел.
Кой сценарий най-добре описва недостатъчното оборудване?
Един недостатъчно подходящ модел е твърде прост, за да улови основния модел, така че се представя зле навсякъде, включително върху данните, върху които е обучен.
В компромиса отклонение-вариация високата дисперсия е най-свързана с кой резултат?
Голямото отклонение означава, че моделът се променя много в зависимост от точните тренировъчни данни, които вижда, което води до пренастройване. Високата пристрастност е обратният, прекалено опростен край.
Моделът по подразбиране на заем използва само възрастта на кандидата и игнорира доходите, дълга и кредитната история. Той се представя лошо както при обучение, така и при нови данни. Какво трябва да направите?
Слабото представяне навсякъде сигнализира за недостатъчно оборудване. Решението е да се увеличи капацитетът на модела, често чрез добавяне на информационни функции, така че да може да представи истинската връзка.
Защо задържаното валидиране или набор от тестове е от съществено значение за откриване на прекомерно оборудване?
Прекомерното оборудване е невидимо, ако гледате само точността на обучението. Оценяването на невидими данни разкрива пропастта между запаметяването и истинското обобщение.