Преглед
Кръстосаното валидиране е техника за повторно вземане на проби за оценка на това колко добре моделът ще се обобщи към невиждани данни. Той използва по-добре ограничени данни и дава по-надеждна оценка на производителността, отколкото еднократно разделяне на обучение/тест.
Кръстосаното валидиране се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Разделянето на единичен влак/тест е крехко: резултатът, който получавате, зависи до голяма степен от това кои редове са попаднали в тестовия набор. Кръстосаното валидиране коригира това чрез завъртане на ролята на тестовия набор. При k-fold кръстосано валидиране разделяте данните на k равни гънки, тренирате върху k-1 от тях, оценявате върху задържаната гънка и повтаряте k пъти, така че всеки ред да се тества точно веднъж. Осредняването на k резултата дава по-стабилна оценка плюс мярка за променливост. Обичайният избор е 5 или 10 пъти. Вариантите включват стратифицирано k-кратно (запазване на пропорциите на класа за небалансирани данни), изключване (k е равно на броя на извадките) и разделяне на времеви редове, които никога не се обучават върху бъдещето, за да предскажат миналото.
Техническа информация
Кръстосаното валидиране е най-мощно за избор на модел и настройка на хиперпараметър: вие сравнявате конфигурациите по техния среден резултат за валидиране, вместо да пренастройвате към едно разделяне. Критична клопка е изтичането на данни — всяка предварителна обработка, която „вижда“ целия набор от данни (мащабиране, избор на характеристики, импутация) трябва да се побере във всяка гънка, не преди разделяне, или вашата оценка ще бъде оптимистично предубедена. Вложеното кръстосано валидиране разделя настройката от крайната оценка, за да се избегне това изтичане.
Овладяване на кръстосаното валидиране
Кръстосаното валидиране е техника за повторно вземане на проби за оценка на това колко добре моделът ще се обобщи към невиждани данни. Той използва по-добре ограничени данни и дава по-надеждна оценка на производителността, отколкото еднократно разделяне на обучение/тест. Кръстосаното валидиране се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте кръстосаното валидиране като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи кръстосано валидиране, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Използване на 5-кратно кръстосано валидиране за сравняване на логистична регресия, произволна гора и градиентно усилване, преди да се ангажирате с един модел.
Прилагане на стратифицирано k-сгъване върху небалансиран набор от данни за откриване на измами, така че всяко сгъване да запазва приблизително същата пропорция от рядък клас.
Изпълнение на GridSearchCV или RandomizedSearchCV, които кръстосано валидират всяка комбинация от хиперпараметър, за да изберат най-добрите настройки.
Използване на кръстосано валидиране на времеви серии (подвижни/верижни) за оценка на прогнозиращ запас или търсене без обучение за бъдещи данни.
Модели на изпълнение
Кръстосано валидиране на практика
Използване на 5-кратно кръстосано валидиране за сравняване на логистична регресия, произволна гора и градиентно усилване, преди да се ангажирате с един модел.
Използване на 5-кратно кръстосано валидиране за сравняване на логистична регресия, произволна гора и градиентно усилване, преди да се ангажират с един модел Екипите обикновено получават по-добри резултати, когато дефинират предварително прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Кръстосано валидиране на практика
Прилагане на стратифицирано k-сгъване върху небалансиран набор от данни за откриване на измами, така че всяко сгъване да запазва приблизително същата пропорция от рядък клас.
Прилагане на стратифицирано k-сгъване върху небалансиран набор от данни за откриване на измами, така че всяко сгъване да запазва приблизително една и съща пропорция от рядък клас Екипите обикновено получават по-добри резултати, когато определят праговете за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Кръстосано валидиране на практика
Изпълнение на GridSearchCV или RandomizedSearchCV, които кръстосано валидират всяка комбинация от хиперпараметър, за да изберат най-добрите настройки.
Изпълнение на GridSearchCV или RandomizedSearchCV, които кръстосано валидират всяка комбинация от хиперпараметри, за да изберат най-добрите настройки. Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Кръстосано валидиране на практика
Използване на кръстосано валидиране на времеви серии (подвижни/верижни) за оценка на прогнозиращ запас или търсене без обучение за бъдещи данни.
Използване на кръстосано валидиране на времеви серии (подвижен/верижен) за оценка на прогнозиращ запас или търсене без обучение за бъдещи данни Екипите обикновено получават по-добри резултати, когато дефинират предварително прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде кръстосаното валидиране помага и къде по-простите методи са по-добри.
Документирайте къде кръстосаното валидиране помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.