LAION dan Kumpulan Data Terbuka
LAION adalah organisasi nirlaba Jerman yang merilis kumpulan data teks gambar terbuka dalam jumlah besar, yang paling terkenal adalah LAION-5B, yang mendorong pelatihan model generatif terbuka seperti Difusi Stabil.
Ikhtisar
It matters because it made web-scale multimodal data freely available to researchers outside large corporations.
Menyelam Lebih Dalam
LAION (Large-scale Artificial Intelligence Open Network) adalah organisasi nirlaba Jerman yang didirikan pada tahun 2021 untuk mendemokratisasi penelitian pembelajaran mesin dengan merilis kumpulan data terbuka yang besar. Rilisannya yang paling terkenal, LAION-5B, berisi sekitar 5,85 miliar pasangan gambar-teks yang difilter dari data web Common Crawl menggunakan model CLIP OpenAI untuk menjaga pasangan di mana teks dan gambar sejajar. Yang terpenting, LAION tidak menghosting gambar itu sendiri; itu mendistribusikan URL dan metadata, sehingga pengguna mengunduh gambar dari sumber web asli. Kumpulan data ini berperan penting dalam pelatihan Difusi Stabil dan model teks-ke-gambar terbuka lainnya. LAION menghadapi pengawasan yang serius: pada tahun 2023, para peneliti menemukan tautan ke citra penyalahgunaan ilegal dalam kumpulan data, sehingga mendorong LAION untuk menghapusnya, membersihkannya, dan merilis ulang versi yang lebih aman, sehingga menyoroti risiko pengikisan skala web tanpa filter.
Wawasan Teknis
LAION-5B dibuat dengan memindai Common Crawl untuk tag gambar HTML dengan teks alternatif, kemudian menggunakan CLIP untuk menghitung kemiripan antara setiap gambar dan keterangannya. Pasangan di bawah ambang kesamaan kosinus dibuang, sehingga hanya pasangan gambar-teks yang cukup cocok yang tersisa. Himpunan data dibagi berdasarkan bahasa dan menyertakan penyematan CLIP yang telah dihitung sebelumnya, sehingga memungkinkan pencarian kesamaan dengan cepat. Karena hanya URL yang disimpan, pembusukan tautan secara bertahap menurunkan kemampuan reproduksi seiring waktu.
Dampak Strategis
Vendor strategy
Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya.
Cost and budget
Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang.
Risk and safety
Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan.
Masa Depan LAION dan Kumpulan Data Terbuka
Kumpulan data multimodal terbuka akan menghadapi tekanan yang semakin besar terkait hak cipta, persetujuan, dan konten berbahaya, sehingga mendorong penyaringan yang lebih ketat, pengumpulan yang sadar akan lisensi, dan pendaftaran yang tidak ikut serta. Peluncuran ulang kumpulan data yang telah dibersihkan oleh LAION menandakan pergeseran ke arah audit keselamatan sebagai langkah default. Harapkan lebih banyak data sintetis atau berlisensi, standar asal, dan alat deteksi. Ketegangan antara akses terbuka untuk laboratorium kecil dan risiko hukum dan etika dari data yang diambil melalui web akan menentukan fase selanjutnya dalam pembuatan kumpulan data.
Implementasi Dunia Nyata
Melatih model teks-ke-gambar terbuka seperti Difusi Stabil pada miliaran pasangan teks gambar
Membangun dan membuat tolok ukur pengambilan teks gambar gaya CLIP dan sistem klasifikasi zero-shot
Meneliti bias kumpulan data, keamanan konten, dan asal data pada skala web
Memfilter subkumpulan berdasarkan bahasa, resolusi, atau skor estetika untuk membuat kumpulan data penyesuaian khusus
Risiko & Pagar Pembatas
Pengumuman peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya.
Penetapan harga API atau perubahan kebijakan dapat mematahkan asumsi dalam sekejap.
Ketergantungan pada vendor tunggal meningkatkan biaya lock-in dan migrasi.
Peta Jalan Implementasi
Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri.
Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi.
Pertahankan rencana cadangan di seluruh model atau vendor.
Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LAION and Open Datasets quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
AI Sumber Terbuka
Pertanyaan yang sering diajukan
What is LAION and Open Datasets?
LAION adalah organisasi nirlaba Jerman yang merilis kumpulan data teks gambar terbuka dalam jumlah besar, yang paling terkenal adalah LAION-5B, yang mendorong pelatihan model generatif terbuka seperti Difusi Stabil. Hal ini penting karena hal ini membuat data multimodal skala web tersedia secara gratis bagi peneliti di luar perusahaan besar.
Apa yang terutama didistribusikan LAION dalam kumpulan data gambar-teksnya?
LAION tidak menghosting gambar; itu mendistribusikan URL dan metadata, sehingga pengguna mengambil gambar dari sumber web aslinya.
Kira-kira berapa banyak pasangan gambar-teks di LAION-5B?
LAION-5B berisi sekitar 5,85 miliar pasangan gambar-teks, oleh karena itu namanya '5B'.
Model manakah yang digunakan LAION untuk memfilter pasangan gambar-teks untuk kualitas penyelarasan?
LAION menggunakan CLIP OpenAI untuk mengukur kesamaan teks gambar dan membuang pasangan yang tidak cocok.
Model generatif terbuka terkemuka manakah yang dilatih menggunakan data LAION?
Difusi Stabil, model teks-ke-gambar terbuka, dilatih pada data teks-gambar LAION.
Masalah serius apa yang ditemukan peneliti di LAION-5B pada tahun 2023?
Para peneliti menemukan tautan ke materi pelecehan anak ilegal, sehingga LAION menghapus kumpulan data tersebut, membersihkannya, dan merilis ulang versi yang lebih aman.