Преглед
Отпадането е трик за регулиране, който произволно изключва част от невроните по време на всяка стъпка на обучение, принуждавайки мрежата да изгради излишни, стабилни представяния. Това се превърна в една от най-влиятелните техники за борба с пренатоварването при задълбочено обучение.
Отпадането и стохастичната регулация се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Въведено от групата на Хинтън около 2012 г., отпадането адресира ключова слабост на големите мрежи: невроните могат да се адаптират съвместно, учейки се да поправят грешките на другия по начини, които работят само върху данните за обучение. При всяко преминаване напред по време на обучение, отпадането произволно настройва изхода на всеки неврон на нула с известна вероятност p (често 0,5 в плътни слоеве). Тъй като всеки неврон може да изчезне, мрежата не може да разчита на крехки партньорства и трябва да разпространява полезна информация в много звена. Това действа като трениране на огромен ансамбъл от изтънени мрежи, които споделят тежести. По време на теста отпадането се изключва и се използва цялата мрежа, като активациите са мащабирани, така че очакваният резултат да съответства на обучението. Резултатът обикновено е по-добро обобщение с цената на малко по-дълго обучение.
Техническа информация
По време на обучението всяка единица се съхранява с вероятност (1 минус p) чрез произволна двоична маска, така че различни подмрежи се вземат проби от всяка партида. Съвременните рамки използват обърнато отпадане: оцелелите активации се разделят на (1 минус p) по време на тренировка, така че не е необходимо мащабиране при извод. Тази произволност инжектира шум, който обезсърчава съвместната адаптация и доближава осредняването върху експоненциален брой подмрежи със споделено тегло, евтина форма на групиране.
Овладяване на отпадане и стохастична регулация
Отпадането е трик за регулиране, който произволно изключва част от невроните по време на всяка стъпка на обучение, принуждавайки мрежата да изгради излишни, стабилни представяния. Това се превърна в една от най-влиятелните техники за борба с пренатоварването при задълбочено обучение. Отпадането и стохастичната регулация се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте Dropout и Stochastic Regularization като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи Dropout и Stochastic Regularization, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Добавяне на Dropout слой с p около 0,5 между плътни слоеве на изображение или текстов класификатор в PyTorch или Keras
Трансформаторни модели, прилагащи отпадане към тежести на вниманието и активации за подаване напред по време на предварително обучение
Отпадане от Монте Карло, където отпадането остава включено при извод, за да се получат оценки на несигурността за медицински или критични за безопасността прогнози
Стохастична дълбочина (DropPath) произволно пропускане на остатъчни блокове за регулиране на много дълбоки мрежи като ResNets и визуални трансформатори
Модели на изпълнение
Отпадане и стохастична регулация на практика
Добавяне на Dropout слой с p около 0,5 между плътните слоеве на изображение или текстов класификатор в PyTorch или Keras.
Добавянето на Dropout слой с p около 0,5 между плътните слоеве на класификатор на изображение или текст в PyTorch или Keras Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество отпред, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Отпадане и стохастична регулация на практика
Трансформаторни модели, прилагащи отпадане към тежести на вниманието и активации за подаване напред по време на предварително обучение.
Трансформаторни модели, прилагащи отпадане към тежести на вниманието и активации за подаване напред по време на предварителна подготовка Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Отпадане и стохастична регулация на практика
Отпадане от Монте Карло, при което отпадането остава включено при извод, за да се получат оценки на несигурността за медицински или критични за безопасността прогнози.
Отпадане от Монте Карло, където отпадането остава включено при извод, за да се изготвят оценки на несигурността за медицински или критични за безопасността прогнози Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Отпадане и стохастична регулация на практика
Стохастична дълбочина (DropPath) произволно пропускане на остатъчни блокове за регулиране на много дълбоки мрежи като ResNets и трансформатори на зрението.
Стохастична дълбочина (DropPath) произволно пропускане на остатъчни блокове за регулиране на много дълбоки мрежи като ResNets и трансформатори на визията Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде отпадането и стохастичната регулация помагат и къде по-простите методи са по-добри.
Документирайте къде отпадането и стохастичната регулация помагат и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.