NastępnyNastępny poradnik
Lookahead i Lion Optimizery
Techniczne
PRZEWODNIK techniczny
Cele InfoNCE i SimCLR
InfoNCE to strata kontrastowa, która uczy model łączenia pasujących par i rozsuwania niedopasowanych par w przestrzeni osadzania.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
Głębokie nurkowanie
InfoNCE (szacowanie kontrastu szumu dla wzajemnych informacji) uczy kodera tak, aby zapytanie i jego prawdziwy wynik pozytywny miały wyższy wynik podobieństwa niż zapytanie i wiele negatywów. Zasadniczo jest to entropia krzyżowa typu softmax względem wyników podobieństwa: w przypadku kotwicy to, co pozytywne, powinno wygrać z negatywnymi. W SimCLR (2020) wykorzystano to w przypadku obrazów: wykonaj jeden obraz, zastosuj dwa losowe rozszerzenia, aby utworzyć dodatnią parę, przepuść oba przez współdzielony koder i głowicę projekcyjną i użyj znormalizowanej entropii krzyżowej skalowanej temperaturowo (NT-Xent, wariant InfoNCE), aby dwa rozszerzone widoki przyciągały się, podczas gdy wszystkie pozostałe obrazy w partii zachowywały się jak negatywy. SimCLR wykazało, że znaczne zwiększenie danych, nieliniowa głowica projekcyjna, duże rozmiary partii i dostrojona temperatura razem pozwalają samonadzorowanym modelom dopasowywać się do nadzorowanych w ImageNet — bez żadnych etykiet podczas wstępnego uczenia.
Implementacja w świecie rzeczywistym
SimCLR wstępnie szkoli koder obrazu na nieoznakowanych zdjęciach, a następnie dostraja mały, oznaczony zestaw do klasyfikacji.
CLIP wykorzystujący obiektyw InfoNCE do dopasowywania obrazów do ich podpisów, umożliwiając klasyfikację obrazów metodą zero-shot.
Budowanie wizualnego wyszukiwania/odzyskiwania, w którym podobne obrazy znajdują się blisko siebie w wyuczonej przestrzeni osadzania.
Samonadzorowane szkolenie wstępne w zakresie zdjęć medycznych lub satelitarnych, w przypadku których etykiet jest niewiele, ale jest mnóstwo surowych danych.
Przyszłość celów InfoNCE i SimCLR
Kontrastowe cele wykraczają daleko poza SimCLR: CLIP dopasowuje obrazy do tekstu za pomocą InfoNCE w różnych modalnościach, a te same straty napędzają modele audio, wideo i wyszukiwania. Badania zmniejszają obecnie zależność od ogromnych partii i wielu negatywów za pośrednictwem banków pamięci (MoCo) lub całkowicie usuwają jawne negatywy (BYOL, SimSiam, DINO). Spodziewaj się ciągłego łączenia wstępnego szkolenia kontrastowego, destylacji i modelowania maskowanego z multimodalnym dopasowaniem (tekst, obraz, dźwięk) jako dominującą granicą dla modeli podstawowych.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the InfoNCE and SimCLR Objectives quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is InfoNCE and SimCLR Objectives?
InfoNCE to strata kontrastowa, która uczy model łączenia pasujących par i rozsuwania niedopasowanych par w przestrzeni osadzania. SimCLR to przełomowa platforma, która wykorzystała tę stratę do poznania potężnych reprezentacji obrazów z nieoznaczonych danych, co stanowi konkurencję dla nadzorowanego szkolenia wstępnego.
Do czego cel InfoNCE zachęca modelkę?
InfoNCE to softmax oparty na podobieństwach, który nagradza wysokie podobieństwo w przypadku prawdziwych pozytywów i niskie podobieństwo w przypadku negatywów.
Jak w SimCLR tworzy się pozytywna para?
SimCLR generuje parę dodatnią z dwóch rozszerzonych widoków tego samego obrazu źródłowego; inne obrazy służą jako negatywy.
Jaką rolę odgrywa temperatura τ w NT-Xent/InfoNCE?
Dzielenie podobieństw przez τ przed softmaxem kontroluje, jak ostro strata odróżnia pozytywów od twardych negatywów.
Co dzieje się z głowicą projekcyjną SimCLR po treningu wstępnym?
SimCLR stwierdziło, że funkcje przed głowicą projekcyjną są lepiej przenoszone, więc głowa jest wyrzucana po treningu wstępnym.
Dlaczego SimCLR polegał na dużych seriach?
W SimCLR pozostałe obrazy w partii działają jak negatywy, więc większe partie dają więcej negatywów i lepsze uczenie się.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat