Modely CLIP a Vision-Language

Learning Transferable Visual Models from Natural Language Supervision zavádí CLIP a hlásí školení o zhruba čtyřech stech milionech párů obrázek-text. Systém se učí kodér obrazu a kodér textu, jejichž promítané vektory lze porovnávat ve sdíleném reprezentačním prostoru. V dávce N pozorovaných párů vypočítá podobnosti pro všech N krát N kombinací obrázku a textu. Cíl upřednostňuje N pozorovaných párů vzhledem k ostatním kombinacím v rámci studované dávkové konstrukce. S třiceti dvěma obrázky a třiceti dvěma texty je k dispozici 1024 záznamů skóre, včetně třiceti dvou pozorovaných párových záznamů. Tento počet popisuje mezimodální srovnání, nikoli počet původních příkladů školení v dávce. Původní článek hodnotí upravené kodéry obrazu ResNet a Vision Transformer, takže ViT není jedinou architekturou CLIP. Textový kodér je ve své hlavní metodě transformátor. Pro klasifikaci zero-shot jsou kandidátské štítky vyjádřeny jako textové popisy, zakódovány a porovnány s vyobrazením. Zero-shot se vztahuje k žádnému úkolu specifickému dohlíženému přizpůsobení v tomto hodnocení; model ještě prošel rozsáhlým předškolením. Výsledek závisí na štítcích, rychlém znění a vyhodnocené distribuci a skóre podobnosti nedokazuje, že každý pojmenovaný objekt nebo vztah je pochopen. CLIP může dodat reprezentace do jiného systému. Papír unCLIP například kombinuje předchozí vkládání obrázků přes CLIP s dekodérem pro generování obrázků. Tato generativní architektura se liší od tvrzení, že původní kodéry CLIP přímo vytvářejí pixely nebo vytvářejí kompletní titulky.