Model CLIP dan Visi-Bahasa
CLIP ialah model daripada OpenAI yang belajar menyambung imej dan teks dengan meletakkan kedua-duanya dalam ruang matematik yang sama.
Gambaran keseluruhan
It is the quiet workhorse behind image search, content moderation, and many text-to-image generators.
Menyelam dalam
Dikeluarkan pada tahun 2021, CLIP (Pralatihan Bahasa-Imej Kontrastif) melatih kira-kira 400 juta pasangan kapsyen imej yang dikikis daripada web. Ia menggunakan dua pengekod: satu menukar imej menjadi vektor, satu lagi menukar teks menjadi vektor dan kedua-duanya mendarat di ruang pembenaman kongsi. Model belajar supaya foto anjing dan perkataan "foto anjing" duduk berdekatan, manakala pasangan yang tidak sepadan duduk berjauhan. Ini membuka kunci klasifikasi tangkapan sifar: untuk melabelkan imej, anda membandingkannya dengan penerangan teks kategori calon dan memilih yang paling hampir, tanpa melatih pengelas khusus. CLIP menjadi infrastruktur asas, penjana imej membimbing, menjana carian imej semantik, menapis set data dan membenihkan model bahasa penglihatan yang lebih besar hari ini seperti Flamingo, LLaVA dan GPT-4V.
Wawasan Teknikal
CLIP dilatih dengan objektif kontrastif. Dalam kumpulan pasangan teks imej, ia mengira persamaan (melalui persamaan kosinus) antara setiap imej dan setiap kapsyen, kemudian melaraskan pengekod untuk memaksimumkan markah untuk pasangan yang betul dan meminimumkan markah untuk semua gabungan yang salah. Pengekod imej lazimnya ialah Pengubah Penglihatan yang membahagikan gambar kepada tompok; pengekod teks ialah Transformer atas token. Kerana kedua-duanya menghasilkan vektor yang setanding, anda boleh memadankan mana-mana imej dengan mana-mana teks dengan cepat.
Kesan Strategik
Kelajuan dan skala
Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
Pilihan binaan
Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
Pasukan dan aliran kerja
Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Masa Depan Model CLIP dan Visi-Bahasa
Penjajaran gaya CLIP kini menjadi blok binaan dalam model multimodal yang lebih besar yang juga boleh bersembang, menaakul dan menjawab soalan tentang imej. Jangkakan set latihan yang lebih besar dan lebih bersih, sokongan untuk banyak bahasa dan sambungan kepada video dan audio. Penyelidik sedang berusaha untuk mengurangkan berat sebelah sosial dan demografi CLIP yang diserap daripada data web, dan untuk meningkatkan pemahaman yang terperinci (mengira objek, membaca teks, hubungan ruang) di mana model kontrastif kekal lemah. Apabila versi terbuka seperti OpenCLIP matang, gam teks imej ini akan terus merebak ke seluruh alat carian, robotik dan kebolehaksesan.
Pelaksanaan Dunia Sebenar
Mencari pustaka foto dengan frasa semula jadi seperti "matahari terbenam di atas gunung" dan bukannya tag nama fail
Membimbing penjana teks ke imej supaya output sepadan dengan gesaan yang diminta
Membenderakan imej yang tidak selamat atau di luar dasar dengan membandingkannya dengan perihalan teks kandungan yang dilarang
Menyusun atau menyusun kapsyen besar set data imej tidak berlabel untuk penyelidikan atau e-dagang
Risiko & Pengawal
Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Hala Tuju Pelaksanaan
Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CLIP and Vision-Language Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Model Visi-Bahasa-Tindakan untuk Robotik
Soalan lazim
What is CLIP and Vision-Language Models?
CLIP ialah model daripada OpenAI yang belajar menyambung imej dan teks dengan meletakkan kedua-duanya dalam ruang matematik yang sama. Ia adalah tenaga kerja yang tenang di sebalik carian imej, penyederhanaan kandungan, dan banyak penjana teks ke imej.
Apakah idea teras di sebalik CLIP?
CLIP memetakan kedua-dua imej dan teks ke dalam satu ruang vektor yang dikongsi supaya persamaannya boleh diukur secara langsung.
Apakah pendekatan latihan yang digunakan CLIP?
CLIP menggunakan objektif kontrastif: pasangan kapsyen imej yang betul ditarik rapat manakala pasangan yang tidak sepadan ditolak.
Apakah maksud 'pengkelasan sifar pukulan' dengan CLIP?
CLIP boleh melabelkan imej yang tidak pernah dilatih secara khusus untuk dikelaskan dengan membandingkannya dengan penerangan teks kategori calon.
Bagaimanakah CLIP mengukur sama ada imej dan kapsyen sepadan?
CLIP mengekod setiap satu ke dalam vektor dan mengira persamaan kosinus; persamaan yang lebih tinggi bermaksud padanan semantik yang lebih dekat.
Secara kasar berapa banyak data yang dilatih CLIP?
CLIP belajar daripada kira-kira 400 juta pasangan kapsyen imej yang dikumpulkan daripada internet, memberikannya pengetahuan bahasa visual yang luas.