Преглед
Регулирането е набор от техники, които умишлено ограничават модел, така че той да се обобщава към нови данни, вместо да запаметява набора за обучение. Това е основният инструментариум за борба с пренатоварването.
Регулирането се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Ако не е отметнат, гъвкавият модел ще се усуче сам, за да пасне на всяка точка в данните за обучение, включително шума. Регулирането отблъсква чрез добавяне на наказание или ограничение, което благоприятства по-простите решения. Най-често срещаните форми добавят член към функцията за загуба въз основа на размера на теглата на модела. Регулирането на L2 (намаляване на теглото) наказва плавно големите тегла, като ги свива към нула и създава по-плавни модели. Регулирането на L1 наказва абсолютната стойност на теглата и може да доведе някои до нула, ефективно избирайки подмножество от функции. Освен наказанията за тегло, отпадането изключва на случаен принцип невроните по време на тренировка, ранното спиране спира тренировката, преди да започне претоварването, а увеличаването на данните разширява ефективния набор от тренировки. Всеки обменя малко тренировъчна точност за много по-добро представяне в реалния свят.
Техническа информация
Повечето регуляризации променят целта, която оптимизаторът минимизира. Вместо просто да минимизирате грешката при прогнозиране, вие минимизирате грешката плюс ламбда, умножена по наказание върху теглата, където ламбда контролира силата. L2 добавя сумата от теглата на квадрат, насърчавайки много малки тегла; L1 добавя сумата от абсолютни тегла, насърчавайки разредността с точни нули. Dropout работи по различен начин: чрез произволно нулиране на активациите на всяка стъпка, той предотвратява съвместната адаптация на невроните и доближава обучението на ансамбъл от подмрежи. Всички те намаляват дисперсията с цената на леко увеличено отклонение.
Овладяване на регулацията
Регулирането е набор от техники, които умишлено ограничават модел, така че той да се обобщава към нови данни, вместо да запаметява набора за обучение. Това е основният инструментариум за борба с пренатоварването. Регулирането се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте Регулирането като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи регулация, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Добавяне на L2 разпадане на теглото към дълбок класификатор на изображения, така че да обобщава от хиляди тренировъчни снимки към невиждани.
Използване на L1 регулация в геномен модел за автоматично избиране на шепата гени, които всъщност предсказват резултат от хиляди.
Прилагане на отпадане в препоръчителна мрежа, така че да не разчита прекалено на единичен потребителски сигнал.
Ранно спиране на обучението, след като загубата на валидиране спре да се подобрява, въпреки че загубата на обучение може да продължи да намалява.
Модели на изпълнение
Регулирането на практика
Добавяне на L2 разпадане на теглото към дълбок класификатор на изображения, така че да обобщава от хиляди тренировъчни снимки към невиждани.
Добавяне на L2 разпадане на тежестта към дълбок класификатор на изображения, така че той да обобщава от хиляди тренировъчни снимки до невиждани. Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат човешки път на ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Регулирането на практика
Използване на L1 регулация в геномен модел за автоматично избиране на шепата гени, които всъщност предсказват резултат от хиляди.
Използване на L1 регулация в геномен модел за автоматично избиране на шепата гени, които действително предсказват резултат от хиляди Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат човешки път на ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Регулирането на практика
Прилагане на отпадане в препоръчителна мрежа, така че да не разчита прекалено на единичен потребителски сигнал.
Прилагане на отпадане в препоръчителна мрежа, така че да не разчита прекалено на нито един потребителски сигнал. Екипите обикновено получават по-добри резултати, когато предварително определят прагове за качество, поддържат човешки път за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Регулирането на практика
Ранно спиране на обучението, след като загубата на валидиране спре да се подобрява, въпреки че загубата на обучение може да продължи да намалява.
Ранно спиране на обучението, след като загубата на валидиране спре да се подобрява, въпреки че загубата на обучение може да продължи да намалява Екипите обикновено получават по-добри резултати, когато определят праговете за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде Регулирането помага и къде по-простите методи са по-добри.
Документирайте къде Регулирането помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.