LAION ve Açık Veri Kümeleri
LAION, en ünlüsü Stable Diffusion gibi açık üretken modellerin eğitimini destekleyen LAION-5B olmak üzere çok büyük açık görüntü metin veri kümeleri yayınlayan, kar amacı gütmeyen bir Alman kuruluşudur.
Genel Bakış
It matters because it made web-scale multimodal data freely available to researchers outside large corporations.
Derin Dalış
LAION (Büyük Ölçekli Yapay Zeka Açık Ağı), büyük açık veri kümelerini yayınlayarak makine öğrenimi araştırmalarını demokratikleştirmek için 2021 yılında kurulmuş, kar amacı gütmeyen bir Alman kuruluşudur. En iyi bilinen sürümü olan LAION-5B, çiftleri başlık ve görselin hizalandığı yerde tutmak için OpenAI'nin CLIP modeli kullanılarak Common Crawl web verilerinden filtrelenmiş yaklaşık 5,85 milyar görsel-metin çifti içerir. En önemlisi, LAION görselleri kendisi barındırmıyor; URL'leri ve meta verileri dağıtır, böylece kullanıcılar görselleri orijinal web kaynaklarından indirir. Bu veri kümeleri, Kararlı Difüzyon ve diğer açık metinden görüntüye modellerin eğitiminde etkili oldu. LAION ciddi bir incelemeyle karşı karşıya kaldı: 2023'te araştırmacılar, veri kümesinde yasa dışı kötüye kullanım görüntülerine yönelik bağlantılar buldu ve bu da LAION'u onu kaldırmaya, temizlemeye ve daha güvenli bir sürümü yeniden yayınlamaya yönelterek, filtrelenmemiş web ölçeğinde kazımanın risklerini vurguladı.
Teknik Bilgi
LAION-5B, alt metinli HTML resim etiketleri için Common Crawl'ı tarayarak, ardından her resim ile resim yazısı arasındaki benzerliği hesaplamak için CLIP kullanılarak oluşturuldu. Kosinüs benzerliği eşiğinin altındaki çiftler atıldı, böylece yalnızca makul ölçüde eşleşen görüntü-metin çiftleri kaldı. Veri seti dile göre bölünmüştür ve önceden hesaplanmış CLIP yerleştirmelerini içerir, böylece hızlı benzerlik araması yapılabilir. Yalnızca URL'ler depolandığından, bağlantı çürümesi zaman içinde tekrarlanabilirliği kademeli olarak azaltır.
Stratejik Etki
Vendor strategy
Satıcı yol haritaları, ekibinizin bundan sonra hangi özellikleri geliştirebileceğini etkiler.
Maliyet ve bütçe
Ticari şartlar ve dağıtım seçenekleri uzun vadeli maliyet ve riski etkiler.
Risk and safety
Şirket teşvikleri ürün temerrütlerini, güvenlik duruşunu ve açıklığı şekillendirir.
LAION'un Geleceği ve Açık Veri Kümeleri
Açık çok modlu veri kümeleri, telif hakkı, izin ve zararlı içerik konusunda artan baskıyla karşı karşıya kalacak ve bu da daha güçlü filtrelemeye, lisans bilincine sahip toplamaya ve devre dışı bırakma kayıtlarına doğru baskı yapacak. LAION'un temizlenmiş bir veri kümesini yeniden yayınlaması, varsayılan adım olarak güvenlik denetimine doğru bir geçişin sinyalini veriyor. Daha fazla sentetik veya lisanslı veri, kaynak standardı ve tespit araçları bekleyebilirsiniz. Küçük laboratuvarlar için açık erişim ile web'den alınan verilerin yasal ve etik riskleri arasındaki gerilim, veri seti oluşturmanın bir sonraki aşamasını tanımlayacak.
Gerçek Dünya Uygulaması
Milyarlarca resim yazısı çiftinde Stabil Difüzyon gibi açık metinden resme modellerin eğitimi
CLIP tarzı görüntü metni alma ve sıfır atış sınıflandırma sistemlerini oluşturma ve kıyaslama
Web ölçeğinde veri kümesi önyargısını, içerik güvenliğini ve veri kaynağını araştırmak
Özel ince ayar veri kümeleri oluşturmak için alt kümeleri dile, çözünürlüğe veya estetik puana göre filtreleme
Riskler ve Korkuluklar
Lansman duyuruları, gerçek üretim iş akışlarında istikrarın önüne geçebilir.
API fiyatlandırması veya politika değişiklikleri, varsayımları bir gecede boşa çıkarabilir.
Tek satıcıya bağımlılık, bağlılık ve geçiş maliyetlerini artırır.
Uygulama Yol Haritası
Sağlayıcıları kendi görevlerinizi ve veri kümelerinizi kullanarak değerlendirin.
Entegrasyondan önce gizlilik, güvenlik ve yasal şartları inceleyin.
Modeller veya satıcılar arasında bir geri dönüş planı sürdürün.
Yol haritası değişikliklerinin ekipleri şaşırtmaması için sürüm notlarını izleyin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LAION and Open Datasets quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Açık Kaynak Yapay Zeka
Sık sorulan sorular
What is LAION and Open Datasets?
LAION, en ünlüsü Stable Diffusion gibi açık üretken modellerin eğitimini destekleyen LAION-5B olmak üzere çok büyük açık görüntü metin veri kümeleri yayınlayan, kar amacı gütmeyen bir Alman kuruluşudur. Bu önemlidir çünkü web ölçeğinde çok modlu verileri büyük şirketlerin dışındaki araştırmacıların kullanımına ücretsiz olarak sunmuştur.
LAION, resim-metin veri kümelerinde öncelikli olarak neyi dağıtıyor?
LAION görselleri barındırmaz; URL'leri ve meta verileri dağıtır, böylece kullanıcılar görselleri orijinal web kaynaklarından alır.
LAION-5B'de kabaca kaç tane resim-metin çifti var?
LAION-5B, yaklaşık 5,85 milyar görüntü-metin çifti içerdiğinden adında '5B' ibaresi bulunmaktadır.
LAION, hizalama kalitesi amacıyla görüntü-metin çiftlerini filtrelemek için hangi modeli kullandı?
LAION, resim yazısı benzerliğini ölçmek ve kötü eşleşen çiftleri atmak için OpenAI'nin CLIP'ini kullandı.
LAION verileri kullanılarak hangi önde gelen açık üretken model eğitildi?
Açık bir metin-görüntü modeli olan Stable Diffusion, LAION görüntü-metin verileri üzerinde eğitildi.
Araştırmacılar 2023'te LAION-5B'de hangi ciddi sorunu keşfettiler?
Araştırmacılar yasa dışı çocuk istismarı materyallerine yönelik bağlantılar buldu ve bu da LAION'un veri setini kaldırmasına, temizlemesine ve daha güvenli bir sürümü yeniden yayınlamasına yol açtı.