Преглед
Изглаждането на етикетите е прост трик за регулиране, който смекчава твърдите цели за еднократно обучение, като казва на модела, че правилният отговор е много вероятен, но не е 100 процента сигурен. Подобрява калибрирането и обобщаването в моделите на изображения и език почти без допълнителни разходи.
Изглаждането на етикети се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Обикновено класификаторът се обучава на еднократни етикети: истинският клас получава цел 1.0, а всичко останало 0.0. В комбинация с крос-ентропия и softmax, това тласка модела да направи правилната логическа стойност безкрайно по-голяма от останалите, насърчавайки прекомерната увереност и пренастройването. Изглаждането на етикета замества целта с (1 - епсилон) за истинския клас и епсилон/(K-1), разпределени в другите класове K, където епсилонът е малък (обикновено 0,1). Сега моделът се стреми към уверено, но не и абсолютно разпределение. Въведен в работата Inception-v3 от 2016 г. и по-късно анализиран от групата на Хинтън, той подобри точността на ImageNet и е стандартен в Transformers, където оригиналната хартия Attention Is All You Need използва епсилон от 0,1.
Техническа информация
С твърдите етикети, минимизирането на кръстосаната ентропия кара правилния logit към положителна безкрайност спрямо другите, което е непостижимо и тласка теглата до крайности. Изглаждането задава ограничена оптимална празнина между правилния logit и останалите, така че logits остават ограничени и моделът престава да бъде максимално уверен. Проучванията показват, че това стяга клъстерите от същия клас и създава по-добре калибрирани вероятности, прогнозираната увереност съвпада с действителната точност. Компромисът: може да изтрие фина информация за сходство между класове, което понякога вреди на дестилацията на знания, когато тези меки връзки имат значение.
Овладяване на изглаждането на етикети
Изглаждането на етикетите е прост трик за регулиране, който смекчава твърдите цели за еднократно обучение, като казва на модела, че правилният отговор е много вероятен, но не е 100 процента сигурен. Подобрява калибрирането и обобщаването в моделите на изображения и език почти без допълнителни разходи. Изглаждането на етикети се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте Label Smoothing като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи изглаждане на етикети, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Класификация на ImageNet: Inception-v3 използва изглаждане на етикети (epsilon 0.1), за да повиши точността на топ 1 и да намали прекомерната увереност.
Машинен превод: оригиналният Transformer приложи изглаждане на етикета от 0,1, търгувайки с малко объркване за по-високи BLEU резултати.
Разпознаване на реч: изгладените цели намаляват твърде уверените погрешни разпознавания и подобряват калибрирането при шумен звук.
Модели за медицинско изобразяване: изглаждането дава по-добре калибрирани вероятности, важно, когато оценката на достоверността информира клиничните решения.
Модели на изпълнение
Изглаждане на етикети на практика
Класификация на ImageNet: Inception-v3 използва изглаждане на етикети (epsilon 0.1), за да повиши точността на топ 1 и да намали прекомерната увереност.
Класификация на ImageNet: Inception-v3 използва изглаждане на етикети (epsilon 0.1), за да повиши точността на топ 1 и да намали прекомерната увереност Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Изглаждане на етикети на практика
Машинен превод: оригиналният Transformer приложи изглаждане на етикета от 0,1, търгувайки с малко объркване за по-високи BLEU резултати.
Машинен превод: оригиналният Transformer приложи изглаждане на етикета от 0,1, търгувайки с малко объркване за по-високи BLEU резултати. Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Изглаждане на етикети на практика
Разпознаване на реч: изгладените цели намаляват твърде уверените погрешни разпознавания и подобряват калибрирането при шумен звук.
Разпознаване на реч: изгладените цели намаляват твърде уверените погрешни разпознавания и подобряват калибрирането на шумно аудио. Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Изглаждане на етикети на практика
Модели за медицинско изобразяване: изглаждането дава по-добре калибрирани вероятности, важно, когато оценката на достоверността информира клиничните решения.
Модели за медицинско изобразяване: изглаждането дава по-добре калибрирани вероятности, важно, когато оценката на достоверността информира клиничните решения Екипите обикновено получават по-добри резултати, когато дефинират предварително прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде изглаждането на етикетите помага и къде по-простите методи са по-добри.
Документирайте къде изглаждането на етикетите помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.