Modèles CLIP et Vision-Langage
CLIP est un modèle de OpenAI qui apprend à connecter des images et du texte en plaçant les deux dans le même espace mathématique.
Aperçu
It is the quiet workhorse behind image search, content moderation, and many text-to-image generators.
Plongée profonde
Sorti en 2021, CLIP (Contrastive Language-Image Pre-training) s'est formé sur environ 400 millions de paires image-légende récupérées sur le Web. Il utilise deux encodeurs : l'un transforme une image en vecteur, l'autre transforme le texte en vecteur, et les deux atterrissent dans un espace d'intégration partagé. Le modèle apprend de manière à ce qu'une photo d'un chien et les mots « une photo d'un chien » soient proches l'un de l'autre, tandis que les paires mal assorties soient éloignées l'une de l'autre. Cela débloque la classification zéro : pour étiqueter une image, vous la comparez aux descriptions textuelles des catégories candidates et choisissez la plus proche, sans former de classificateur dédié. CLIP est devenu une infrastructure fondamentale, guidant les générateurs d'images, alimentant la recherche d'images sémantiques, filtrant les ensembles de données et semant les plus grands modèles de langage de vision actuels comme Flamingo, LLaVA et GPT-4V.
Aperçu technique
CLIP est formé avec un objectif contrastif. Dans un lot de paires image-texte, il calcule la similarité (via la similarité cosinus) entre chaque image et chaque légende, puis ajuste les encodeurs pour maximiser les scores des paires correctes et minimiser les scores de toutes les mauvaises combinaisons. L'encodeur d'image est généralement un transformateur de vision qui divise une image en patchs ; l'encodeur de texte est un transformateur sur jetons. Étant donné que les deux produisent des vecteurs comparables, vous pouvez faire correspondre n’importe quelle image à n’importe quel texte à la volée.
Impact stratégique
Vitesse et échelle
L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
Choix de construction
Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
Équipe et flux de travail
Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
L'avenir du CLIP et des modèles Vision-Langage
L'alignement de style CLIP est désormais un élément constitutif de modèles multimodaux plus grands qui peuvent également discuter, raisonner et répondre à des questions sur les images. Attendez-vous à des ensembles de formation plus grands et plus propres, à la prise en charge de nombreuses langues et à une extension à la vidéo et à l'audio. Les chercheurs s’efforcent de réduire les biais sociaux et démographiques absorbés par CLIP dans les données Web et d’améliorer la compréhension fine (compter des objets, lire du texte, relations spatiales) là où les modèles contrastifs restent faibles. À mesure que les versions ouvertes comme OpenCLIP mûrissent, cette colle image-texte continuera à se répandre dans les outils de recherche, de robotique et d'accessibilité.
Mise en œuvre dans le monde réel
Recherche dans une photothèque avec des expressions naturelles telles que « coucher de soleil sur les montagnes » au lieu de balises de nom de fichier
Guider les générateurs de texte en image pour que les sorties correspondent à l'invite demandée
Signaler les images dangereuses ou hors politique en les comparant aux descriptions textuelles du contenu interdit
Organisation automatique ou sous-titrage de grands ensembles de données d'images non étiquetés pour la recherche ou le commerce électronique
Risques et garde-fous
Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Feuille de route de mise en œuvre
Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
Testez avec des données qui correspondent aux conditions de production réelles.
Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CLIP and Vision-Language Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Modèles Vision-Langage-Action pour la robotique
Questions fréquemment posées
What is CLIP and Vision-Language Models?
CLIP est un modèle de OpenAI qui apprend à connecter des images et du texte en plaçant les deux dans le même espace mathématique. C'est le cheval de bataille silencieux derrière la recherche d'images, la modération de contenu et de nombreux générateurs de texte en image.
Quelle est l’idée centrale derrière CLIP ?
CLIP mappe les images et le texte dans un espace vectoriel partagé afin que leur similarité puisse être mesurée directement.
Quelle approche de formation le CLIP utilise-t-il ?
CLIP utilise un objectif contrastif : les paires image-légende correctes sont rapprochées tandis que les paires incompatibles sont écartées.
Que signifie la « classification zéro tir » avec CLIP ?
CLIP peut étiqueter des images pour lesquelles il n'a jamais été spécifiquement formé en les comparant aux descriptions textuelles des catégories candidates.
Comment CLIP mesure-t-il si une image et une légende correspondent ?
CLIP code chacun dans un vecteur et calcule la similarité cosinusoïdale ; une similarité plus élevée signifie une correspondance sémantique plus étroite.
Sur quelle quantité de données environ CLIP a-t-il été formé ?
CLIP a appris d'environ 400 millions de paires d'images-légendes recueillies sur Internet, lui donnant ainsi une vaste connaissance du langage visuel.