LAION ومجموعات البيانات المفتوحة
LAION هي منظمة ألمانية غير ربحية أصدرت مجموعات ضخمة من بيانات الصور والنصوص المفتوحة، وأشهرها LAION-5B، والتي غذت تدريب النماذج التوليدية المفتوحة مثل Stable Diffusion.
نظرة عامة
إنها مهمة لأنها جعلت البيانات متعددة الوسائط على نطاق الويب متاحة مجانًا للباحثين خارج الشركات الكبيرة.
الغوص العميق
LAION (شبكة مفتوحة للذكاء الاصطناعي واسعة النطاق) هي منظمة ألمانية غير ربحية تأسست في عام 2021 لإضفاء الطابع الديمقراطي على أبحاث التعلم الآلي من خلال إطلاق مجموعات بيانات مفتوحة كبيرة. يحتوي إصداره الأكثر شهرة، LAION-5B، على ما يقرب من 5.85 مليار زوج من الصور والنصوص التي تمت تصفيتها من بيانات ويب Common Crawl باستخدام نموذج CLIP الخاص بـ OpenAI للاحتفاظ بالأزواج حيث تتم محاذاة التسمية التوضيحية والصورة. والأهم من ذلك أن LAION لا تستضيف الصور نفسها؛ يقوم بتوزيع عناوين URL والبيانات الوصفية، بحيث يقوم المستخدمون بتنزيل الصور من مصادر الويب الأصلية. كانت مجموعات البيانات هذه مفيدة في تدريب Stable Diffusion ونماذج تحويل النص إلى الصورة المفتوحة الأخرى. واجهت LAION تدقيقًا جديًا: في عام 2023، وجد الباحثون روابط لصور إساءة الاستخدام غير القانونية في مجموعة البيانات، مما دفع LAION إلى إزالتها وتنظيفها وإعادة إصدار نسخة أكثر أمانًا، مما يسلط الضوء على مخاطر الحذف على نطاق الويب دون تصفية.
البصيرة الفنية
تم إنشاء LAION-5B عن طريق مسح Common Crawl بحثًا عن علامات صور HTML ذات النص البديل، ثم استخدام CLIP لحساب التشابه بين كل صورة والتسمية التوضيحية الخاصة بها. تم تجاهل الأزواج التي تقل عن عتبة تشابه جيب التمام، لذلك بقيت فقط أزواج الصور والنص المتطابقة بشكل معقول. يتم تقسيم مجموعة البيانات حسب اللغة وتتضمن تضمينات CLIP محسوبة مسبقًا، مما يتيح البحث السريع عن التشابه. نظرًا لأنه يتم تخزين عناوين URL فقط، يؤدي تعفن الارتباط إلى انخفاض إمكانية التكرار تدريجيًا بمرور الوقت.
التأثير الاستراتيجي
استراتيجية البائع
تؤثر خرائط طريق البائع على الميزات التي يمكن لفريقك إنشاءها بعد ذلك.
التكلفة والميزانية
تؤثر الشروط التجارية وخيارات النشر على التكلفة والمخاطر على المدى الطويل.
المخاطر والسلامة
تعمل حوافز الشركة على تشكيل الإعدادات الافتراضية للمنتج، ووضعية السلامة، والانفتاح.
مستقبل LAION ومجموعات البيانات المفتوحة
ستواجه مجموعات البيانات المفتوحة متعددة الوسائط ضغوطًا متزايدة حول حقوق الطبع والنشر والموافقة والمحتوى الضار، مما يدفع نحو تصفية أقوى وجمع مراعٍ للترخيص وسجلات إلغاء الاشتراك. تشير إعادة إصدار مجموعة البيانات المنظفة من LAION إلى التحول نحو تدقيق السلامة كخطوة افتراضية. توقع المزيد من البيانات الاصطناعية أو المرخصة، ومعايير المصدر، وأدوات الكشف. إن التوتر بين الوصول المفتوح للمختبرات الصغيرة والمخاطر القانونية والأخلاقية للبيانات المستخرجة من الويب سيحدد المرحلة التالية من بناء مجموعة البيانات.
التنفيذ في العالم الحقيقي
تدريب نماذج تحويل النص إلى صورة مفتوحة مثل Stable Diffusion على مليارات من أزواج التسميات التوضيحية للصور
بناء وقياس أنظمة استرجاع النصوص والصور بنمط CLIP وأنظمة تصنيف اللقطات الصفرية
البحث عن تحيز مجموعة البيانات وسلامة المحتوى ومصدر البيانات على نطاق الويب
تصفية المجموعات الفرعية حسب اللغة أو الدقة أو النتيجة الجمالية لإنشاء مجموعات بيانات متخصصة للضبط الدقيق
المخاطر والدرابزين
قد تتجاوز إعلانات الإطلاق الاستقرار في سير عمل الإنتاج الحقيقي.
يمكن أن يؤدي تسعير واجهة برمجة التطبيقات (API) أو تغيرات السياسة إلى كسر الافتراضات بين عشية وضحاها.
يؤدي الاعتماد على بائع واحد إلى زيادة تكاليف الحجز والترحيل.
خارطة طريق التنفيذ
قم بتقييم مقدمي الخدمة باستخدام المهام ومجموعات البيانات الخاصة بك.
راجع الخصوصية والأمان والمصطلحات القانونية قبل التكامل.
احتفظ بخطة احتياطية عبر النماذج أو البائعين.
راقب ملاحظات الإصدار حتى لا تفاجئ التغييرات في خارطة الطريق الفرق.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the LAION and Open Datasets quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
الذكاء الاصطناعي مفتوح المصدر
الأسئلة المتداولة
ما هو LAION ومجموعات البيانات المفتوحة؟
LAION هي منظمة ألمانية غير ربحية أصدرت مجموعات ضخمة من بيانات الصور والنصوص المفتوحة، وأشهرها LAION-5B، والتي غذت تدريب النماذج التوليدية المفتوحة مثل Stable Diffusion. إنها مهمة لأنها جعلت البيانات متعددة الوسائط على نطاق الويب متاحة مجانًا للباحثين خارج الشركات الكبيرة.
ما الذي تقوم LAION بتوزيعه بشكل أساسي في مجموعات بيانات الصور والنصوص الخاصة بها؟
LAION لا تستضيف الصور؛ يقوم بتوزيع عناوين URL والبيانات الوصفية، بحيث يقوم المستخدمون بإحضار الصور من مصادر الويب الأصلية الخاصة بهم.
ما هو عدد أزواج الصور والنصوص تقريبًا في LAION-5B؟
يحتوي LAION-5B على حوالي 5.85 مليار زوج من الصور والنصوص، ومن هنا جاء الحرف "5B" في اسمه.
ما النموذج الذي استخدمته LAION لتصفية أزواج الصور والنص من أجل جودة المحاذاة؟
استخدمت LAION CLIP الخاص بـ OpenAI لقياس تشابه التسمية التوضيحية للصورة وتجاهل الأزواج غير المتطابقة بشكل جيد.
ما هو النموذج التوليدي المفتوح البارز الذي تم تدريبه باستخدام بيانات LAION؟
تم تدريب Stable Diffusion، وهو نموذج مفتوح لتحويل النص إلى صورة، على بيانات نص الصورة LAION.
ما هي المشكلة الخطيرة التي اكتشفها الباحثون في LAION-5B في عام 2023؟
وجد الباحثون روابط لمواد غير قانونية تتعلق بإساءة معاملة الأطفال، مما دفع LAION إلى إزالة مجموعة البيانات وتنظيفها وإعادة إصدار نسخة أكثر أمانًا.