DalšíDalší průvodce
Zkreslení podávání funkcí online a offline
Technický
Technický PRŮVODCE
Tvrdá negativní těžba vybírá ty nejinformativnější, obtížně rozlišitelné příklady, na kterých se lze trénovat, místo toho, aby plýtval úsilím na ty jednoduché, které model již má správně.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It is the trick that makes metric learning and object detection converge fast and accurately.
Při tréninku s tripletovými nebo kontrastními ztrátami je většina náhodně vybraných negativů již daleko od kotvy, takže produkují nulové ztráty a žádný gradient, trénink se zastaví. Negativní těžba to řeší výběrem tvrdých záporů: příkladů, které jsou špatně blízko ukotvení. Při offline těžbě pravidelně skenujete datovou sadu, abyste je našli, což je pomalé a zastaralé. Online těžba je počítá za běhu v rámci každé mini-dávky: po dopředném průchodu se podíváte na všechny párové vzdálenosti v dávce a vyberete nejtvrdší porušení. FaceNet zavedl semi-tvrdou těžbu, vybírá zápory dále než kladné, ale stále uvnitř okraje, čímž se vyhýbá nestabilitě, kterou mohou absolutně nejtěžší zápory způsobit na začátku tréninku.
Školení v rozpoznávání obličejů: FaceNet používá polotvrdou online těžbu k učení vložení, která oddělují podobné jedince.
Detekce objektů: SSD a podobné detektory aplikují tvrdou negativní těžbu, aby vyrovnaly záplavu jednoduchých krabic na pozadí proti krabicím vzácných objektů.
Vyhledání hustých průchodů: vyhledávací a RAG systémy dolují tvrdé negativní dokumenty, které vypadají relevantní, ale nejsou, a zdokonalují aport.
Doporučovací systémy: modely minových položek, na které uživatel neklikl, ale které připomínaly klikané položky, a učí jemnějším rozdílům ve vkusu.
Princip, trénovat na to, co je těžké, nyní řídí kontrastivní učení s vlastním dohledem, kde velké in-batch negativní fondy (a paměťové banky jako MoCo) poskytují obtížná srovnání bez štítků. Výzkumníci zdokonalují, jak tvrdý by měl být zápor, protože příliš tvrdá negativa se často ukáží jako špatně označená nebo téměř duplicitní pozitiva, která narušují trénink. Očekávejte chytřejší těžbu uvědomující si nejistotu a syntetická tvrdá negativa generovaná samotným modelem a navíc těsnější integraci s vyhledávacími systémy, které těží tvrdá negativa ze skutečných uživatelských dotazů.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Tvrdá negativní těžba vybírá ty nejinformativnější, obtížně rozlišitelné příklady, na kterých se lze trénovat, místo toho, aby plýtval úsilím na ty jednoduché, které model již má správně. Je to trik, díky kterému se učení metriky a detekce objektů sbíhají rychle a přesně.
Snadné zápory sedí daleko za okrajem, uspokojují již ztrátu a v podstatě nepřispívají k žádnému gradientu, takže trénink vázne.
Online těžba vypočítává párové vzdálenosti uvnitř aktuální dávky v každém kroku, zatímco offline těžba periodicky skenuje celou datovou sadu a může být zastaralá.
Polotvrdé zápory jsou dále od kotvy než kladné, přesto spadají do okraje a poskytují užitečné, stabilní gradienty bez nestability absolutně nejtěžších případů.
Dávková těžba vybírá nejtěžší případy: pro každou kotvu se bere nejvzdálenější kladná a nejbližší (nejvíc matoucí) záporná v dávce.
Větší dávka poskytuje větší matici vzdálenosti po párech, takže existuje více kandidátních negativů, které lze z každého kroku vytěžit nejtěžší.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Zkreslení podávání funkcí online a offline
Technický