Преглед
Пренастройването е, когато моделът запаметява своите данни за обучение и се проваля на нови примери; недостатъчното приспособяване е, когато е твърде просто да се улови истинският модел. Постигането на доброто място между тях е централното предизвикателство на машинното обучение.
Преоборудването и недостатъчното оборудване се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Всеки модел е подходящ за краен набор за обучение, но целта е да се представя добре при невидими данни. Моделът с прекомерно приспособяване третира шума и странностите на набора за обучение, сякаш са истински сигнал: той може да постигне 99% от данните за обучението, но да се свие до 70% при набор от тестове. Моделът с недостатъчна годност е противоположният проблем, твърде твърд, за да улови основната структура, така че се справя лошо както с данните за обучение, така и с тестовите данни. Разликата между обучението и изпълнението на теста е издайническият знак. Недостатъчното приспособяване се показва като висока грешка навсякъде (високо отклонение); overfitting показва като ниска грешка при обучение, но висока грешка при тестване (висока дисперсия). Умението е да разпознаете кой проблем имате, защото поправките теглят в противоположни посоки.
Техническа информация
Прекомерното и недостатъчното оборудване са двата края на компромиса между отклонение и вариация. Пристрастието е грешка от прекалено опростени предположения; дисперсията е грешка от това, че е твърде чувствителен към конкретната извадка за обучение. Малък линеен модел има голямо отклонение и ниска дисперсия (недостатъци); огромен неограничен модел има ниско отклонение и висока дисперсия (overfits). Общата очаквана грешка грубо се разлага като отклонение на квадрат плюс дисперсия плюс нередуцируем шум. Практиците откриват проблема, като сравняват точността на набора за обучение с набор за задържан валидиране, наблюдавайки къде двете криви се разминават.
Овладяване на надграждането и недостатъчното оборудване
Пренастройването е, когато моделът запаметява своите данни за обучение и се проваля на нови примери; недостатъчното приспособяване е, когато е твърде просто да се улови истинският модел. Постигането на доброто място между тях е централното предизвикателство на машинното обучение. Преоборудването и недостатъчното оборудване се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте Overfitting и Underfitting като оперативен модел, а не като отделна характеристика: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи Overfitting и Underfitting, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Филтър за нежелана поща, който маркира с флаг всеки имейл, съдържащ име на конкретен подател, защото този подател се е случило да изпрати много нежелана поща в данните за обучение, пропускайки изцяло новите разпращащи нежелана поща (пренастройване).
Модел на цена на жилище, използващ само квадратни кадри и игнориращ местоположение, спални и състояние, така че пропуска лошо в скъпите квартали (недостатъчно оборудване).
Класификатор на медицински изображения, който се научава да открива водния знак на болничния скенер вместо болестта и се проваля в други болници (пренастройване до фалшива функция).
График на загубата при обучение спрямо загубата при валидиране по време на обучение и спиране, когато загубата при валидиране започне да се покачва, докато загубата при обучение продължава да намалява (улавяне на прекомерното оборудване рано).
Модели на изпълнение
Overfitting и Underfitting на практика
Филтър за нежелана поща, който маркира с флаг всеки имейл, съдържащ име на конкретен подател, защото този подател се е случило да изпрати много нежелана поща в данните за обучение, пропускайки изцяло новите разпращащи нежелана поща (пренастройване).
Филтър за нежелана поща, който маркира всеки имейл, съдържащ име на конкретен подател, защото този подател е изпратил много нежелана поща в данни за обучение, пропускайки изцяло нови разпространители на нежелана поща (пренастройване) Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Overfitting и Underfitting на практика
Модел на цена на жилище, използващ само квадратни кадри и игнориращ местоположение, спални и състояние, така че пропуска лошо в скъпите квартали (недостатъчно оборудване).
Модел на цена на жилище, използващ само квадратни кадри и игнориращ местоположение, спални и състояние, така че пропуска много в скъпи квартали (недостатъчно оборудване) Екипите обикновено получават по-добри резултати, когато определят прагове за качество предварително, поддържат човешки път за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Overfitting и Underfitting на практика
Класификатор на медицински изображения, който се научава да открива водния знак на болничния скенер вместо болестта и се проваля в други болници (пренастройване до фалшива функция).
Класификатор на медицински изображения, който се научава да открива водния знак на скенера на дадена болница вместо болестта и се проваля в други болници (свръхоборудване до фалшива функция). Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Overfitting и Underfitting на практика
График на загубата при обучение спрямо загубата при валидиране по време на обучение и спиране, когато загубата при валидиране започне да се покачва, докато загубата при обучение продължава да намалява (улавяне на прекомерното оборудване рано).
График на загуба на обучение срещу загуба на валидиране по време на обучение и спиране, когато загубата на валидиране започне да нараства, докато загубата на обучение продължава да спада (улавяне на прекомерното оборудване рано) Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде Overfitting и Underfitting помага и къде по-простите методи са по-добри.
Документирайте къде Overfitting и Underfitting помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.