Преглед
Обратното разпространение е алгоритъмът, който позволява на невронната мрежа да се учи от грешките си чрез ефективно изчисляване колко всяка тежест е допринесла за грешката. Това е двигателят зад почти всички съвременни обучения за дълбоко обучение.
Обратното разпространение се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Когато невронна мрежа прави прогноза, тя произвежда някаква грешка, измерена чрез функция на загуба. Обратното разпространение отговаря на критичен въпрос: как трябва да се промени всяко от милионите тегла, за да се намали тази грешка? Той прави това чрез прилагане на верижното правило от смятането, работейки назад от изходния слой към входния слой. Сигналът за грешка се предава обратно през мрежата и на всеки слой алгоритъмът изчислява градиента, посоката и количеството, което всяка тежест трябва да измести. Ключовото прозрение, популяризирано от Румелхарт, Хинтън и Уилямс през 1986 г., е, че междинните резултати могат да се използват повторно, което прави изчислението ефективно. Без обратно разпространение обучението на дълбока мрежа с милиарди параметри би било изчислително безнадеждно.
Техническа информация
Обратното разпространение работи в два хода. Преминаването напред изчислява прогнозата и запазва междинните активации. Обратното преминаване прилага верижното правило: то умножава локалните производни слой по слой, разпространявайки градиента на загубата по отношение на всяко тегло. Най-важното е, че той кешира и използва повторно частични производни, вместо да ги изчислява отново, така че цената остава приблизително пропорционална на едно преминаване напред. След това получените градиенти се предават на оптимизатор като градиентно спускане, за да актуализира теглата.
Овладяване на обратното разпространение
Обратното разпространение е алгоритъмът, който позволява на невронната мрежа да се учи от грешките си чрез ефективно изчисляване колко всяка тежест е допринесла за грешката. Това е двигателят зад почти всички съвременни обучения за дълбоко обучение. Обратното разпространение се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте обратното разпространение като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи обратно разпространение, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Обучение на класификатор на изображения, така че той постепенно да настройва филтрите за разпознаване на котки срещу кучета след всяка партида снимки
Фина настройка на голям езиков модел на фирмени документи чрез обратно разпространение на грешката на прогнозираните следващи думи
Обучение на зрителна мрежа на самоуправляващ се автомобил за намаляване на грешките при прогнозиране на ъгъла на завиване по време на симулация
Актуализиране на вгражданията на препоръчителен модел, така че по-добре да прогнозира върху кои филми ще щракне потребителят
Модели на изпълнение
Обратно разпространение на практика
Обучение на класификатор на изображения, така че постепенно да настройва филтрите за разпознаване на котки срещу кучета след всяка партида снимки.
Обучение на класификатор на изображения, така че постепенно да настройва филтрите за разпознаване на котки срещу кучета след всяка партида от снимки Екипите обикновено получават по-добри резултати, когато определят праговете за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Обратно разпространение на практика
Фина настройка на голям езиков модел на фирмени документи чрез обратно разпространение на грешката на прогнозираните следващи думи.
Фина настройка на голям езиков модел на фирмени документи чрез обратно разпространение на грешката на предвидените следващи думи Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Обратно разпространение на практика
Обучение на визуална мрежа на самоуправляващ се автомобил за намаляване на грешките при прогнозиране на ъгъла на завиване по време на симулация.
Обучение на зрителната мрежа на самоуправляваща се кола за намаляване на грешките при прогнозиране на ъгъла на завиване по време на симулация Екипите обикновено получават по-добри резултати, когато дефинират праговете за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Обратно разпространение на практика
Актуализиране на вгражданията на препоръчителен модел, така че по-добре да прогнозира върху кои филми ще щракне потребителят.
Актуализиране на вгражданията на препоръчителен модел, така че той по-добре да прогнозира върху кои филми потребителят ще щракне. Екипите обикновено получават по-добри резултати, когато дефинират предварително прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде обратното разпространение помага и къде по-простите методи са по-добри.
Документирайте къде обратното разпространение помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.