Преглед
Функцията на загуба е единственото число, което казва на модела колко погрешни са прогнозите му, превръщайки неясна цел в нещо, което математиката може да оптимизира. Изборът на правилната загуба оформя това, което моделът всъщност научава.
Функциите за загуба се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Всеки обучен модел се нуждае от точна дефиниция на повреда и това е, което осигурява функцията за загуба. Той сравнява прогнозата на модела с истинския отговор и извежда число: по-високо означава по-лошо. След това обучението е процес на минимизиране на този брой. Изборът на загуба не е козметичен. За регресионни задачи средната квадратна грешка санкционира тежко големите грешки чрез повдигане на квадрат на разликата, докато средната абсолютна грешка третира всички грешки по-равномерно и се противопоставя на отклоненията. За класификация загубата на кръстосана ентропия измерва колко далеч е прогнозираното разпределение на вероятностите от истинския етикет, наказвайки сериозно уверените грешни отговори. Избирането на загуба, която не съответства на вашата цел, може да накара модела да оптимизира технически грешното нещо, така че функцията за загуба ефективно кодира това, което ви интересува.
Техническа информация
Кръстосаната ентропия, работният кон за класификация, произлиза от теорията на информацията: тя измерва допълнителните битове, необходими за кодиране на истинските етикети, използвайки предвидените от модела вероятности. Тъй като нараства рязко, когато една уверена прогноза се окаже погрешна, градиентът му принуждава силно модела да коригира грешките, допуснати с прекалено самочувствие. Функциите на загуба трябва да бъдат диференцируеми (или почти такива), тъй като обратното разпространение се нуждае от техния градиент. Точно това изискване е причината да се използват гладки сурогати вместо сурови, недиференцируеми показатели като точност.
Овладяване на функциите за загуба
Функцията на загуба е единственото число, което казва на модела колко погрешни са прогнозите му, превръщайки неясна цел в нещо, което математиката може да оптимизира. Изборът на правилната загуба оформя това, което моделът всъщност научава. Функциите за загуба се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте функциите за загуба като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи функции за загуба, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Използване на загуба на кръстосана ентропия за обучение на класификатор на спам по имейл, който наказва уверени грешни класификации
Избор на средна абсолютна грешка за прогнозиране на цените на жилищата, така че няколко екстремни имения да не доминират в обучението
Прилагане на загуба на контраст, така че моделът за разпознаване на лица събира заедно изображения на един и същ човек
Проектиране на загуба на модел на възнаграждение, за да насочи чатбот към по-полезни и честни отговори
Модели на изпълнение
Функции за загуба на практика
Използване на загуба на кръстосана ентропия за обучение на класификатор на спам по имейл, който наказва уверените грешни класификации.
Използване на загуба на кръстосана ентропия за обучение на класификатор на нежелана поща по имейл, който наказва уверени погрешни класификации Екипите обикновено получават по-добри резултати, когато дефинират предварително прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Функции за загуба на практика
Избор на средна абсолютна грешка за прогнозиране на цените на жилищата, така че няколко екстремни имения да не доминират в обучението.
Избор на средна абсолютна грешка за прогнозиране на цените на жилищата, така че няколко екстремни имения да не доминират в обучението. Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Функции за загуба на практика
Прилагане на загуба на контраст, така че моделът за разпознаване на лица събира заедно изображения на един и същ човек.
Прилагане на контрастна загуба, така че моделът за разпознаване на лица събира заедно изображения на един и същ човек. Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Функции за загуба на практика
Проектиране на загуба на модел на възнаграждение, за да насочи чатбот към по-полезни и честни отговори.
Инженеринг на загуба на модел на възнаграждение, за да насочи чатбот към по-полезни и честни отговори Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде функциите за загуба помагат и къде по-простите методи са по-добри.
Документирайте къде функциите за загуба помагат и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.