PANDUAN Perusahaan
LAION dan Kumpulan Data Terbuka
LAION adalah organisasi nirlaba Jerman yang merilis kumpulan data teks gambar terbuka dalam jumlah besar, yang paling terkenal adalah LAION-5B, yang mendorong pelatihan model generatif terbuka seperti Difusi Stabil.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Hal ini penting karena hal ini membuat data multimodal skala web tersedia secara gratis bagi peneliti di luar perusahaan besar.
Menyelam Lebih Dalam
LAION (Large-scale Artificial Intelligence Open Network) is a German nonprofit founded in 2021 to democratize machine learning research by releasing large open datasets. Its best-known release, LAION-5B, contains roughly 5.85 billion image-text pairs filtered from Common Crawl web data using OpenAI's CLIP model to keep pairs where the caption and image align. LAION distributes URLs and metadata while the original image files remain on their web hosts. The dataset helped researchers train and study open image-text models, including Stable Diffusion. In December 2023, researchers reported URLs to suspected child sexual abuse material in LAION-5B, and LAION withdrew the dataset for a safety revision. In August 2024, LAION described Re-LAION versions created by comparing existing records with partner-provided hash lists. The release excludes known suspect links identified by those partners as of July 2024; LAION explicitly states that filters cannot guarantee all harmful content has been removed from web-scale data.
Implementasi Dunia Nyata
Melatih model teks-ke-gambar terbuka seperti Difusi Stabil pada miliaran pasangan teks gambar
Membangun dan membuat tolok ukur pengambilan teks gambar gaya CLIP dan sistem klasifikasi zero-shot
Meneliti bias kumpulan data, keamanan konten, dan asal data pada skala web
Memfilter subkumpulan berdasarkan bahasa, resolusi, atau skor estetika untuk membuat kumpulan data penyesuaian khusus
Masa Depan LAION dan Kumpulan Data Terbuka
Kumpulan data multimodal terbuka akan menghadapi tekanan yang semakin besar terkait hak cipta, persetujuan, dan konten berbahaya, sehingga mendorong penyaringan yang lebih ketat, pengumpulan yang sadar akan lisensi, dan pendaftaran yang tidak ikut serta. Peluncuran ulang kumpulan data yang telah dibersihkan oleh LAION menandakan pergeseran ke arah audit keselamatan sebagai langkah default. Harapkan lebih banyak data sintetis atau berlisensi, standar asal, dan alat deteksi. Ketegangan antara akses terbuka untuk laboratorium kecil dan risiko hukum dan etika dari data yang diambil melalui web akan menentukan fase selanjutnya dalam pembuatan kumpulan data.
Mempraktikkannya
Mengapa itu penting
- Strategi vendor. Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya.
- Biaya dan anggaran. Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang.
- Risiko dan keselamatan. Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan.
Hati-hati
- Pengumuman peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya.
- Penetapan harga API atau perubahan kebijakan dapat mematahkan asumsi dalam sekejap.
- Ketergantungan pada vendor tunggal meningkatkan biaya lock-in dan migrasi.
Langkah selanjutnya
- Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri.
- Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi.
- Pertahankan rencana cadangan di seluruh model atau vendor.
- Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the LAION and Open Datasets quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu LAION dan Open Dataset?
LAION adalah organisasi nirlaba Jerman yang merilis kumpulan data teks gambar terbuka dalam jumlah besar, yang paling terkenal adalah LAION-5B, yang mendorong pelatihan model generatif terbuka seperti Difusi Stabil. Hal ini penting karena hal ini membuat data multimodal skala web tersedia secara gratis bagi peneliti di luar perusahaan besar.
Apa yang terutama didistribusikan LAION dalam kumpulan data gambar-teksnya?
LAION tidak menghosting gambar; itu mendistribusikan URL dan metadata, sehingga pengguna mengambil gambar dari sumber web aslinya.
Kira-kira berapa banyak pasangan gambar-teks di LAION-5B?
LAION-5B berisi sekitar 5,85 miliar pasangan gambar-teks, oleh karena itu namanya '5B'.
Model manakah yang digunakan LAION untuk memfilter pasangan gambar-teks untuk kualitas penyelarasan?
LAION menggunakan CLIP OpenAI untuk mengukur kesamaan teks gambar dan membuang pasangan yang tidak cocok.
Model generatif terbuka terkemuka manakah yang dilatih menggunakan data LAION?
Difusi Stabil, model teks-ke-gambar terbuka, dilatih pada data teks-gambar LAION.
What issue led LAION to withdraw LAION-5B in December 2023?
Researchers identified URLs to suspected CSAM in LAION-5B. LAION withdrew the dataset and later described a revision using partner-provided hash lists; this does not establish that every suspicious link was live or that every possible harmful item has been removed.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini