LAION et les ensembles de données ouverts
LAION est une organisation allemande à but non lucratif qui a publié d'énormes ensembles de données image-texte ouverts, notamment LAION-5B, qui ont alimenté la formation de modèles génératifs ouverts comme Stable Diffusion.
Aperçu
It matters because it made web-scale multimodal data freely available to researchers outside large corporations.
Plongée profonde
LAION (Large-scale Artificial Intelligence Open Network) est une organisation allemande à but non lucratif fondée en 2021 pour démocratiser la recherche sur l'apprentissage automatique en publiant de grands ensembles de données ouvertes. Sa version la plus connue, LAION-5B, contient environ 5,85 milliards de paires image-texte filtrées à partir des données Web Common Crawl à l'aide du modèle CLIP de OpenAI pour conserver les paires où la légende et l'image s'alignent. Surtout, LAION n’héberge pas les images elles-mêmes ; il distribue des URL et des métadonnées afin que les utilisateurs téléchargent des images à partir des sources Web d'origine. Ces ensembles de données ont joué un rôle déterminant dans la formation de la diffusion stable et d'autres modèles ouverts de texte en image. LAION a fait l'objet d'un examen minutieux : en 2023, des chercheurs ont trouvé des liens vers des images d'abus illégaux dans l'ensemble de données, ce qui a incité LAION à le supprimer, à le nettoyer et à rééditer une version plus sûre, soulignant les risques d'un grattage non filtré à l'échelle du Web.
Aperçu technique
LAION-5B a été construit en analysant Common Crawl pour les balises d'image HTML avec du texte alternatif, puis en utilisant CLIP pour calculer la similarité entre chaque image et sa légende. Les paires inférieures à un seuil de similarité cosinus ont été écartées, de sorte que seules les paires image-texte raisonnablement appariées sont restées. L'ensemble de données est divisé par langue et comprend des intégrations CLIP précalculées, permettant une recherche rapide de similarité. Étant donné que seules les URL sont stockées, la pourriture des liens dégrade progressivement la reproductibilité au fil du temps.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir de LAION et des ensembles de données ouverts
Les ensembles de données multimodaux ouverts seront confrontés à une pression croissante en matière de droits d'auteur, de consentement et de contenu préjudiciable, ce qui poussera à un filtrage plus strict, à une collecte tenant compte des licences et à des registres de désinscription. La réédition par LAION d'un ensemble de données nettoyées signale une évolution vers l'audit de sécurité comme étape par défaut. Attendez-vous à davantage de données synthétiques ou sous licence, de normes de provenance et d’outils de détection. La tension entre le libre accès pour les petits laboratoires et les risques juridiques et éthiques liés aux données récupérées sur le Web définira la prochaine phase de création d’ensembles de données.
Mise en œuvre dans le monde réel
Entraîner des modèles texte-image ouverts tels que Stable Diffusion sur des milliards de paires image-légende
Création et analyse comparative de systèmes de récupération d'image-texte et de classification zéro-shot de style CLIP
Recherche sur les biais des ensembles de données, la sécurité du contenu et la provenance des données à l'échelle du Web
Filtrage des sous-ensembles par langue, résolution ou score esthétique pour créer des ensembles de données spécialisés de réglage fin
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LAION and Open Datasets quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
IA open source
Questions fréquemment posées
What is LAION and Open Datasets?
LAION est une organisation allemande à but non lucratif qui a publié d'énormes ensembles de données image-texte ouverts, notamment LAION-5B, qui ont alimenté la formation de modèles génératifs ouverts comme Stable Diffusion. C’est important car cela a rendu les données multimodales à l’échelle du Web librement accessibles aux chercheurs extérieurs aux grandes entreprises.
Qu'est-ce que LAION distribue principalement dans ses ensembles de données image-texte ?
LAION n’héberge pas d’images ; il distribue des URL et des métadonnées afin que les utilisateurs récupèrent des images à partir de leurs sources Web d'origine.
Environ combien de paires image-texte y a-t-il dans LAION-5B ?
LAION-5B contient environ 5,85 milliards de paires image-texte, d'où le « 5B » dans son nom.
Quel modèle LAION a-t-il utilisé pour filtrer les paires image-texte afin d'améliorer la qualité de l'alignement ?
LAION a utilisé le CLIP de OpenAI pour mesurer la similarité image-légende et éliminer les paires mal appariées.
Quel modèle génératif ouvert important a été formé à l’aide des données LAION ?
Stable Diffusion, un modèle texte-image ouvert, a été formé sur les données image-texte LAION.
Quel problème grave les chercheurs ont-ils découvert dans LAION-5B en 2023 ?
Les chercheurs ont trouvé des liens vers du matériel illégal sur la maltraitance des enfants, ce qui a conduit LAION à supprimer l'ensemble de données, à le nettoyer et à rééditer une version plus sûre.