РЪКОВОДСТВО по основи

Загуба на тройка и научаване на метрика

Триплетната загуба учи невронна мрежа да поставя подобни елементи близо един до друг и различни елементи далеч един от друг в пространството за вграждане.

Преглед

Триплетната загуба учи невронна мрежа да поставя подобни елементи близо един до друг и различни елементи далеч един от друг в пространството за вграждане. Това е основата зад системите за разпознаване на лица, търсене на изображения и препоръки, които трябва да сравняват нещата, а не просто да ги класифицират.

Triplet Loss и Metric Learning се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.

Дълбоко гмуркане

Метричното обучение обучава модел за създаване на вграждания, вектори, където разстоянието отразява сходството. Триплетната загуба прави това, като използва три входа наведнъж: котва, положителен (същия клас като котвата) и отрицателен (различен клас). Целта приближава котвата по-близо до положителното, отколкото до отрицателното поне с фиксиран марж. Формално загубата е max(0, d(a,p) - d(a,n) + марж), където d обикновено е евклидово разстояние. FaceNet на Google от 2015 г. популяризира този подход, научавайки директно 128-измерни вграждания на лица. Веднъж обучени, сравнявате всеки два елемента чрез изчисляване на разстоянието, не е необходимо повторно обучение за нови самоличности. Тази способност за отворен набор е причината, поради която метричното учене не може лесно да се справи с проверката и класификацията на задачите за извличане.

Техническа информация

Маржът е това, което кара триплетната загуба да работи. Без него моделът може тривиално да свие всички вграждания до една точка, правейки всяко разстояние нула и подреждането безсмислено. Маржинът налага буфер: минусът трябва да е поне марж по-далеч от положителния, преди загубата да достигне нула. Вгражданията обикновено са L2-нормализирани върху единична хиперсфера, така че разстоянията остават ограничени и сравними. Изборът на марж (често около 0,2) заменя колко плътно се клъстерират класовете спрямо разделянето между тях.

Овладяване на триплетната загуба и научаването на метрика

Триплетната загуба учи невронна мрежа да поставя подобни елементи близо един до друг и различни елементи далеч един от друг в пространството за вграждане. Това е основата зад системите за разпознаване на лица, търсене на изображения и препоръки, които трябва да сравняват нещата, а не просто да ги класифицират. Triplet Loss и Metric Learning се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте Triplet Loss и Metric Learning като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно от това, което все още изисква експертна преценка.

На практика силни екипи, използващи Triplet Loss и Metric Learning, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.

Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.

Стратегическо въздействие

Помага ви да отделите ясните технически твърдения от маркетинговия език.

Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.

Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.

Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.

Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.

Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.

Бъдещето на загубата на триплети и обучението на метрики

Чистата загуба на триплет все повече се заменя от цели за цялата партида, като мулти-сходство, прокси-котва и контрастни загуби (InfoNCE), които сравняват много двойки на стъпка и се сближават по-бързо. Методите за самоконтрол като SimCLR показват, че обучението на метрики може да работи без етикети, като третира разширените изгледи като положителни. Тъй като векторните бази данни и генерирането с увеличено извличане нарастват, научените вграждания са в основата на семантичното търсене в мащаб от милиард елементи, така че основната идея за разстоянието като подобие става все по-централна, дори когато специфичната формулировка на триплета избледнява.

Внедряване в реалния свят

Лицева проверка в стил FaceNet: телефоните и паспортните врати потвърждават самоличността, като проверяват дали две вградени лица попадат в рамките на прага на разстояние.

Визуално търсене на продукти: сайтовете за електронна търговия позволяват на купувачите да качат снимка и да извлекат визуално подобни артикули чрез търсене в най-близкия съсед.

Проверка на високоговорителя: гласовите асистенти вграждат гласова проба и я сравняват с регистриран профил, за да потвърдят кой говори.

Проверка на подпис и почерк: банките вграждат референтни подписи и заявки и фалшификати, когато разстоянието надвишава наученото поле.

Модели на изпълнение

Загуба на тройка и обучение на метрика на практика

Лицева проверка в стил FaceNet: телефоните и паспортните врати потвърждават самоличността, като проверяват дали две вградени лица попадат в рамките на прага на разстояние.

Лицева проверка в стил FaceNet: телефони и паспортни врати потвърждават самоличността, като проверяват дали две вграждания на лица попадат в рамките на прага на разстояние Екипите обикновено получават по-добри резултати, когато определят праговете за качество отпред, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.

Загуба на тройка и обучение на метрика на практика

Визуално търсене на продукти: сайтовете за електронна търговия позволяват на купувачите да качат снимка и да извлекат визуално подобни артикули чрез търсене в най-близкия съсед.

Визуално търсене на продукти: сайтовете за електронна търговия позволяват на купувачите да качат снимка и да извлекат визуално подобни артикули чрез търсене на вграждане от най-близкия съсед. Екипите обикновено получават по-добри резултати, когато предварително определят прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.

Загуба на тройка и обучение на метрика на практика

Проверка на високоговорителя: гласовите асистенти вграждат гласова проба и я сравняват с регистриран профил, за да потвърдят кой говори.

Проверка на високоговорителя: гласовите асистенти вграждат гласова проба и я сравняват с регистриран профил, за да потвърдят кой говори. Екипите обикновено получават по-добри резултати, когато определят прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.

Загуба на тройка и обучение на метрика на практика

Проверка на подпис и почерк: банките вграждат референтни подписи и заявки и фалшификати, когато разстоянието надвишава наученото поле.

Проверка на подпис и почерк: банките вграждат референтни подписи и заявки и фалшификати, когато разстоянието надвишава научен марж Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.

Рискове и предпазни огради

!

Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.

!

Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.

!

Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.

Пътна карта за изпълнение

1

Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.

Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.

2

Изберете един показател за успех и едно условие за неуспех преди тестване.

Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.

3

Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.

Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.

4

Документирайте къде Triplet Loss и Metric Learning помагат и къде по-простите методи са по-добри.

Документирайте къде Triplet Loss и Metric Learning помагат и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.

Продължете да изследвате