Преглед
Momentum е настройка за градиентно спускане, която акумулира текуща средна стойност на минали градиенти, позволявайки на оптимизацията да се движи по-бързо през долини и да намалява колебанията. Това е един от най-широко използваните трикове за обучение в дълбокото обучение.
Stochastic Gradient Descent with Momentum се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Обикновен стохастичен градиент на спускане (SGD) актуализира параметрите, като стъпва в посока, противоположна на текущия мини-партиден градиент. В пейзажи, оформени като дълги, тесни клисури, това се движи на зиг-заг през стръмните стени, докато пълзи по полегатия под. Momentum, популяризиран от Polyak и по-късно от Rumelhart и колеги, коригира това чрез поддържане на вектор на скоростта: всяка стъпка смесва новия градиент с част (коефициента на импулса, често 0,9) от предишната скорост. Последователните посоки на градиента подсилват и ускоряват, докато осцилиращите компоненти частично компенсират. Физическата аналогия е тежка топка, търкаляща се надолу: тя развива скорост в постоянни посоки и е по-малко отклонена от шумни неравности, осигурявайки по-бърза и по-плавна конвергенция от ванилия SGD.
Техническа информация
Актуализацията поддържа скорост v, която се актуализира като v = бета * v + градиент, след което параметрите се преместват минус скоростта на обучение, умножена по v. С коефициента на импулса бета, ефективната стъпка в последователна посока се усилва грубо с коефициент 1/(1 - бета); при бета = 0,9, което е около десет пъти. Това е математически експоненциално претеглена пълзяща средна на градиентите, изглаждаща шума от мини-партиди, като същевременно запазва доминиращата посока на спускане.
Овладяване на стохастично градиентно спускане с инерция
Momentum е настройка за градиентно спускане, която акумулира текуща средна стойност на минали градиенти, позволявайки на оптимизацията да се движи по-бързо през долини и да намалява колебанията. Това е един от най-широко използваните трикове за обучение в дълбокото обучение. Stochastic Gradient Descent with Momentum се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте Stochastic Gradient Descent с Momentum като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи стохастичен градиентен спускане с инерция, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Обучение на дълбоки конволюционни мрежи като ResNet, където SGD с инерция 0,9 е стандартна рецепта.
Изглаждане на шумни градиентни оценки при използване на малки мини-партиди.
Избягване на плитки местни плата чрез пренасяне на скорост през равнинни региони.
Служи като инерционен термин в адаптивни оптимизатори като варианти на Adam и RMSprop.
Модели на изпълнение
Стохастично градиентно спускане с инерция на практика
Обучение на дълбоки конволюционни мрежи като ResNet, където SGD с инерция 0,9 е стандартна рецепта.
Обучение на дълбоки конволюционни мрежи като ResNet, където SGD с инерция 0,9 е стандартна рецепта Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат човешки път за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Стохастично градиентно спускане с инерция на практика
Изглаждане на шумни градиентни оценки при използване на малки мини-партиди.
Изглаждане на шумни градиентни оценки при използване на малки мини-партиди Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат човешка пътека за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Стохастично градиентно спускане с инерция на практика
Избягване на плитки местни плата чрез пренасяне на скорост през равнинни региони.
Избягване на плитки местни плата чрез пренасяне на скорост през равни региони Екипите обикновено получават по-добри резултати, когато определят праговете за качество предварително, поддържат човешки път за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Стохастично градиентно спускане с инерция на практика
Служи като инерционен термин в адаптивни оптимизатори като варианти на Adam и RMSprop.
Служейки като инерция в рамките на адаптивни оптимизатори като варианти на Adam и RMSprop Екипите обикновено получават по-добри резултати, когато дефинират предварително прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде Stochastic Gradient Descent with Momentum помага и къде по-простите методи са по-добри.
Документирайте къде Stochastic Gradient Descent with Momentum помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.