GUIDE DES ENTREPRISES
LAION et les ensembles de données ouverts
LAION est une organisation allemande à but non lucratif qui a publié d'énormes ensembles de données image-texte ouverts, notamment LAION-5B, qui ont alimenté la formation de modèles génératifs ouverts comme Stable Diffusion.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It matters because it made web-scale multimodal data freely available to researchers outside large corporations.
Plongée profonde
LAION (Large-scale Artificial Intelligence Open Network) is a German nonprofit founded in 2021 to democratize machine learning research by releasing large open datasets. Its best-known release, LAION-5B, contains roughly 5.85 billion image-text pairs filtered from Common Crawl web data using OpenAI's CLIP model to keep pairs where the caption and image align. LAION distributes URLs and metadata while the original image files remain on their web hosts. The dataset helped researchers train and study open image-text models, including Stable Diffusion. In December 2023, researchers reported URLs to suspected child sexual abuse material in LAION-5B, and LAION withdrew the dataset for a safety revision. In August 2024, LAION described Re-LAION versions created by comparing existing records with partner-provided hash lists. The release excludes known suspect links identified by those partners as of July 2024; LAION explicitly states that filters cannot guarantee all harmful content has been removed from web-scale data.
Mise en œuvre dans le monde réel
Entraîner des modèles texte-image ouverts tels que Stable Diffusion sur des milliards de paires image-légende
Création et analyse comparative de systèmes de récupération d'image-texte et de classification zéro-shot de style CLIP
Recherche sur les biais des ensembles de données, la sécurité du contenu et la provenance des données à l'échelle du Web
Filtrage des sous-ensembles par langue, résolution ou score esthétique pour créer des ensembles de données spécialisés de réglage fin
L'avenir de LAION et des ensembles de données ouverts
Les ensembles de données multimodaux ouverts seront confrontés à une pression croissante en matière de droits d'auteur, de consentement et de contenu préjudiciable, ce qui poussera à un filtrage plus strict, à une collecte tenant compte des licences et à des registres de désinscription. La réédition par LAION d'un ensemble de données nettoyées signale une évolution vers l'audit de sécurité comme étape par défaut. Attendez-vous à davantage de données synthétiques ou sous licence, de normes de provenance et d’outils de détection. La tension entre le libre accès pour les petits laboratoires et les risques juridiques et éthiques liés aux données récupérées sur le Web définira la prochaine phase de création d’ensembles de données.
Le mettre en pratique
Pourquoi c'est important
- Stratégie du fournisseur. Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
- Coût et budget. Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
- Risques et sécurité. Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
Attention à
- Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
- La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
- La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Prochaines étapes
- Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
- Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
- Maintenez un plan de secours entre les modèles ou les fournisseurs.
- Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the LAION and Open Datasets quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is LAION and Open Datasets?
LAION est une organisation allemande à but non lucratif qui a publié d'énormes ensembles de données image-texte ouverts, notamment LAION-5B, qui ont alimenté la formation de modèles génératifs ouverts comme Stable Diffusion. C’est important car cela a rendu les données multimodales à l’échelle du Web librement accessibles aux chercheurs extérieurs aux grandes entreprises.
Qu'est-ce que LAION distribue principalement dans ses ensembles de données image-texte ?
LAION n’héberge pas d’images ; il distribue des URL et des métadonnées afin que les utilisateurs récupèrent des images à partir de leurs sources Web d'origine.
Environ combien de paires image-texte y a-t-il dans LAION-5B ?
LAION-5B contient environ 5,85 milliards de paires image-texte, d'où le « 5B » dans son nom.
Quel modèle LAION a-t-il utilisé pour filtrer les paires image-texte afin d'améliorer la qualité de l'alignement ?
LAION a utilisé le CLIP de OpenAI pour mesurer la similarité image-légende et éliminer les paires mal appariées.
Quel modèle génératif ouvert important a été formé à l’aide des données LAION ?
Stable Diffusion, un modèle texte-image ouvert, a été formé sur les données image-texte LAION.
What issue led LAION to withdraw LAION-5B in December 2023?
Researchers identified URLs to suspected CSAM in LAION-5B. LAION withdrew the dataset and later described a revision using partner-provided hash lists; this does not establish that every suspicious link was live or that every possible harmful item has been removed.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet