DalšíDalší průvodce
Lookahead a Lion Optimizers
Technický
Technický PRŮVODCE
InfoNCE je kontrastní ztráta, která učí model přitahovat páry k sobě a odsouvat páry, které se neshodují, od sebe v prostoru pro vkládání.
Poslechněte si tento návodAI-vyprávěný · ~2 min
SimCLR je mezník, který tuto ztrátu využil k učení výkonných obrazových reprezentací z neoznačených dat, což konkuruje řízenému předtrénování.
InfoNCE (Noise-Contrastive Estimation for vzájemná informace) trénuje kodér tak, aby dotaz a jeho skutečné pozitivum měly vyšší skóre podobnosti než dotaz a mnoho záporů. Je to v podstatě softmax křížová entropie nad skóre podobnosti: pro kotvu by mělo pozitivní zvítězit nad negativními. SimCLR (2020) to zprovoznil pro snímky: pořiďte jeden snímek, aplikujte dvě náhodné augmentace k vytvoření pozitivního páru, proveďte oba prostřednictvím sdíleného kodéru a projekční hlavy a použijte normalizovanou teplotně škálovanou křížovou entropii (NT-Xent, varianta InfoNCE), takže se dva rozšířené pohledy přitahují, zatímco všechny ostatní snímky v dávce působí jako negativy. SimCLR ukázal, že silné rozšíření dat, nelineární projekční hlava, velké velikosti dávek a vyladěná teplota dohromady umožňují, aby modely s vlastním dohledem odpovídaly modelům pod dohledem na ImageNet – bez jakýchkoli štítků během předtrénování.
SimCLR předtrénování kodéru obrázků na neoznačených fotografiích a následné jemné doladění na malé označené sadě pro klasifikaci.
CLIP pomocí objektivu InfoNCE k porovnání snímků s jejich popisky, což umožňuje klasifikaci snímků s nulovým snímkem.
Vytváření vizuálního vyhledávání/načítání, kde podobné obrázky sedí blízko sebe v naučeném prostoru pro vkládání.
Předškolní příprava pro lékařské nebo satelitní snímky s vlastním dohledem, kde je štítků málo, ale nezpracovaných dat je dostatek.
Kontrastivní cíle se šíří daleko za hranice SimCLR: CLIP zarovnává obrázky s textem pomocí InfoNCE napříč modalitami a stejná ztráta pohání audio, video a modely vyhledávání. Výzkum nyní snižuje závislost na velkých dávkách a mnoha negativech prostřednictvím paměťových bank (MoCo), nebo zcela odstraňuje explicitní negativy (BYOL, SimSiam, DINO). Očekávejte pokračující míchání kontrastního, destilačního a maskovaného předtréninku s multimodálním zarovnáním (text, obrázek, zvuk) jako dominantní hranici pro základní modely.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
InfoNCE je kontrastní ztráta, která učí model přitahovat páry k sobě a odsouvat páry, které se neshodují, od sebe v prostoru pro vkládání. SimCLR je mezník, který tuto ztrátu využil k učení výkonných obrazových reprezentací z neoznačených dat, což konkuruje řízenému předtrénování.
InfoNCE je softmax nad podobnostmi, který odměňuje vysokou podobnost za skutečnou pozitivní a nízkou podobnost za negativní.
SimCLR generuje pozitivní pár ze dvou rozšířených pohledů na stejný zdrojový obrázek; ostatní snímky slouží jako negativy.
Dělení podobností τ před softmax řídí, jak ostře odlišuje ztráta pozitiva od tvrdých negativ.
SimCLR zjistil, že funkce před projekční hlavou se lépe přenášejí, takže hlava je po předtrénování odhozena.
V SimCLR ostatní obrázky v dávce fungují jako negativy, takže větší dávky poskytují více negativů a silnější učení.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Lookahead a Lion Optimizers
Technický