СледваСледващо ръководство
Изкривяване на обслужването на онлайн и офлайн функции
технически
Техническо РЪКОВОДСТВО
Онлайн и твърд негативен майнинг
Твърдото отрицателно копаене избира най-информативните, трудни за разграничаване примери, върху които да тренирате, вместо да губите усилия върху лесните, които моделът вече прави.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It is the trick that makes metric learning and object detection converge fast and accurately.
Дълбоко гмуркане
Когато тренирате с триплетни или контрастни загуби, повечето произволно взети негативи вече са далеч от котвата, така че те произвеждат нулеви загуби и никакъв градиент, тренировъчни застой. Отрицателното копаене коригира това чрез избиране на твърди негативи: примери, които са погрешно близо до котвата. При офлайн копаене вие периодично сканирате набора от данни, за да ги намерите, което е бавно и остарява. Онлайн копаенето ги изчислява в движение в рамките на всяка мини-партида: след преминаване напред вие разглеждате всички разстояния по двойки в партидата и избирате най-трудните нарушители. FaceNet въведе полутвърд копаене, избирайки негативи по-далеч от положителния, но все още в границата, избягвайки нестабилността, която абсолютно най-трудните негативи могат да причинят в началото на обучението.
Внедряване в реалния свят
Обучение за разпознаване на лица: FaceNet използва полутвърдо онлайн копаене, за да научи вграждания, които разделят приличащите си индивиди.
Откриване на обекти: SSD и подобни детектори прилагат твърдо отрицателно копаене, за да балансират потока от лесни фонови кутии срещу кутии с редки обекти.
Плътно извличане на пасажи: системите за търсене и RAG копаят твърди негативни документи, които изглеждат уместни, но не са, изостряйки извличането.
Системи за препоръчване: моделира артикули, върху които потребителят не е щракнал, но приличат на кликнати артикули, преподавайки по-фини различия във вкуса.
Бъдещето на онлайн и твърдо негативното копаене
Принципът, тренирайте върху това, което е трудно, сега води до контрастно самоконтролирано обучение, където големи групови отрицателни пулове (и банки с памет като MoCo) предоставят трудни сравнения без етикети. Изследователите прецизират колко твърд трябва да бъде негативът, тъй като твърде твърдите негативи често се оказват погрешно етикетирани или почти дублиращи се положителни, които развалят обучението. Очаквайте по-интелигентно, съобразено с несигурността копаене и синтетични твърди негативи, генерирани от самия модел, плюс по-тясна интеграция със системи за извличане, които копаят твърди негативи от реални потребителски заявки.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Online and Hard Negative Mining quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Online and Hard Negative Mining?
Твърдото отрицателно копаене избира най-информативните, трудни за разграничаване примери, върху които да тренирате, вместо да губите усилия върху лесните, които моделът вече прави. Това е трикът, който прави метричното обучение и откриването на обект да се сближават бързо и точно.
Защо повечето произволно взети негативи дават слаб тренировъчен сигнал при загуба на триплети?
Лесните негативи са доста отвъд маржа, вече задоволяват загубата и по същество не допринасят за градиент, така че обучението спира.
Какво отличава онлайн копаене от офлайн?
Онлайн копаене изчислява разстояния по двойки в текущата партида на всяка стъпка, докато офлайн копаене периодично сканира целия набор от данни и може да остарее.
Какво е „полутвърд“ негатив, както е дефиниран във FaceNet?
Полутвърдите негативи са по-далеч от котвата, отколкото позитивите, но попадат в полето, давайки полезни, стабилни градиенти без нестабилността на най-трудните случаи.
При партидно твърдо копаене кой негатив се избира за всяка котва?
Пакетното трудно копаене избира най-трудните случаи: за всяка котва се взема най-отдалеченият положителен и най-близкият (най-объркващ) отрицателен в партидата.
Защо по-големият размер на партида има тенденция да подобрява резултатите от обучението на добитите метрики?
По-голямата партида дава по-голяма двойна матрица на разстоянието, така че има повече кандидат-негативи за най-трудно копаене от всяка стъпка.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема