PANDUAN Syarikat
LAION dan Set Data Terbuka
LAION ialah organisasi bukan untung Jerman yang mengeluarkan set data teks imej terbuka besar-besaran, yang paling terkenal LAION-5B, yang menyemarakkan latihan model generatif terbuka seperti Stable Diffusion.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Ia penting kerana ia menjadikan data multimodal berskala web tersedia secara percuma kepada penyelidik di luar syarikat besar.
Menyelam dalam
LAION (Large-scale Artificial Intelligence Open Network) is a German nonprofit founded in 2021 to democratize machine learning research by releasing large open datasets. Its best-known release, LAION-5B, contains roughly 5.85 billion image-text pairs filtered from Common Crawl web data using OpenAI's CLIP model to keep pairs where the caption and image align. LAION distributes URLs and metadata while the original image files remain on their web hosts. The dataset helped researchers train and study open image-text models, including Stable Diffusion. In December 2023, researchers reported URLs to suspected child sexual abuse material in LAION-5B, and LAION withdrew the dataset for a safety revision. In August 2024, LAION described Re-LAION versions created by comparing existing records with partner-provided hash lists. The release excludes known suspect links identified by those partners as of July 2024; LAION explicitly states that filters cannot guarantee all harmful content has been removed from web-scale data.
Pelaksanaan Dunia Sebenar
Melatih model teks-ke-imej terbuka seperti Stable Diffusion pada berbilion-bilion pasangan kapsyen imej
Membina dan menanda aras sistem pengambilan imej-teks gaya CLIP dan sistem klasifikasi tangkapan sifar
Menyelidik bias set data, keselamatan kandungan dan asal data pada skala web
Menapis subset mengikut bahasa, resolusi atau skor estetik untuk membuat set data penalaan halus khusus
Masa Depan LAION dan Set Data Terbuka
Set data multimodal terbuka akan menghadapi tekanan yang semakin meningkat di sekitar hak cipta, persetujuan dan kandungan berbahaya, mendorong ke arah penapisan yang lebih kukuh, pengumpulan sedar pelesenan dan pendaftaran menarik diri. Pengeluaran semula kumpulan data yang telah dibersihkan oleh LAION menandakan peralihan ke arah pengauditan keselamatan sebagai langkah lalai. Jangkakan lebih banyak data sintetik atau berlesen, piawaian asal dan alat pengesanan. Ketegangan antara akses terbuka untuk makmal kecil dan risiko undang-undang dan etika data yang dikikis web akan menentukan fasa seterusnya pembinaan set data.
Mempraktikkannya
Mengapa ia penting
- Strategi vendor. Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya.
- Kos dan bajet. Terma komersial dan pilihan penggunaan mempengaruhi kos dan risiko jangka panjang.
- Risiko dan keselamatan. Insentif syarikat membentuk keingkaran produk, postur keselamatan dan keterbukaan.
Berhati-hati untuk
- Pengumuman pelancaran mungkin melebihi kestabilan dalam aliran kerja pengeluaran sebenar.
- Harga API atau anjakan dasar boleh memecahkan andaian semalaman.
- Kebergantungan vendor tunggal meningkatkan kos kunci masuk dan penghijrahan.
Langkah seterusnya
- Nilai penyedia menggunakan tugasan dan set data anda sendiri.
- Semak privasi, keselamatan dan syarat undang-undang sebelum penyepaduan.
- Kekalkan pelan sandaran merentas model atau vendor.
- Pantau nota keluaran supaya perubahan peta jalan tidak mengejutkan pasukan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the LAION and Open Datasets quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah itu LAION dan Set Data Terbuka?
LAION ialah organisasi bukan untung Jerman yang mengeluarkan set data teks imej terbuka besar-besaran, yang paling terkenal LAION-5B, yang menyemarakkan latihan model generatif terbuka seperti Stable Diffusion. Ia penting kerana ia menjadikan data multimodal berskala web tersedia secara percuma kepada penyelidik di luar syarikat besar.
Apakah yang paling utama diedarkan oleh LAION dalam set data teks imejnya?
LAION tidak mengehoskan imej; ia mengedarkan URL dan metadata, jadi pengguna mengambil imej daripada sumber web asal mereka.
Secara kasar berapa banyak pasangan teks imej dalam LAION-5B?
LAION-5B mengandungi kira-kira 5.85 bilion pasangan teks imej, oleh itu '5B' dalam namanya.
Model manakah yang LAION gunakan untuk menapis pasangan teks imej untuk kualiti penjajaran?
LAION menggunakan CLIP OpenAI untuk mengukur persamaan kapsyen imej dan membuang pasangan yang kurang padan.
Model generatif terbuka yang terkenal manakah yang dilatih menggunakan data LAION?
Stable Diffusion, model teks-ke-imej terbuka, telah dilatih pada data teks imej LAION.
What issue led LAION to withdraw LAION-5B in December 2023?
Researchers identified URLs to suspected CSAM in LAION-5B. LAION withdrew the dataset and later described a revision using partner-provided hash lists; this does not establish that every suspicious link was live or that every possible harmful item has been removed.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini