BigScience ونموذج BLOOM
كان BigScience عبارة عن تعاون بحثي مفتوح لمدة عام لأكثر من 1000 باحث أنتج BLOOM، وهو واحد من أول نماذج اللغات الكبيرة متعددة اللغات والتي تم إصدارها بشكل مفتوح.
نظرة عامة
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
الغوص العميق
BigScience عبارة عن ورشة عمل بحثية مدتها عام واحد تمتد من 2021 إلى 2022، بتنسيق من Hugging Face وتجمع أكثر من 1000 باحث متطوع من أكثر من 60 دولة و250 مؤسسة. كان ناتجها الرئيسي، الذي تم إصداره في يوليو 2022، هو BLOOM، وهو نموذج لغة انحدار ذاتي مكون من 176 مليار معلمة. كان BLOOM متعدد اللغات عمدًا، وتم تدريبه على مجموعة ROOTS التي تغطي 46 لغة طبيعية و13 لغة برمجة، مع تمثيل قوي للغات الممثلة تمثيلاً ناقصًا مثل العديد من اللغات الأفريقية وجنوب آسيا. استمر التدريب لعدة أشهر على الكمبيوتر العملاق Jean Zay الممول من القطاع العام في فرنسا باستخدام حوالي 384 وحدة معالجة رسوميات. تم إصدار BLOOM بموجب ترخيص الذكاء الاصطناعي المسؤول مع التوثيق الكامل لبياناته وتدريبه واستخداماته المقصودة، وهو ما يتناقض بشكل حاد مع التطوير المغلق لنماذج قابلة للمقارنة.
البصيرة الفنية
BLOOM هو محول لوحدة فك التشفير فقط بمقياس مماثل لـ GPT-3، يستخدم التضمينات الموضعية لـ ALiBi بدلاً من متجهات الموضع المكتسبة، مما يساعده على استقراء تسلسلات أطول مما شوهد في التدريب. كما أنه يطبق أيضًا تطبيع طبقة التضمين الذي أدى إلى تحسين استقرار التدريب على نطاق واسع. تم تجميع مجموعة ROOTS متعددة اللغات وتوثيقها بعناية، بحيث كان مزيج اللغات ومصادر البيانات شفافًا وقابلاً للتدقيق، وهو خروج متعمد عن مجموعات البيانات غير الشفافة.
التأثير الاستراتيجي
استراتيجية البائع
تؤثر خرائط طريق البائع على الميزات التي يمكن لفريقك إنشاءها بعد ذلك.
التكلفة والميزانية
تؤثر الشروط التجارية وخيارات النشر على التكلفة والمخاطر على المدى الطويل.
المخاطر والسلامة
تعمل حوافز الشركة على تشكيل الإعدادات الافتراضية للمنتج، ووضعية السلامة، والانفتاح.
مستقبل BigScience ونموذج BLOOM
لقد أثبتت BigScience أن الذكاء الاصطناعي واسع النطاق والمُدار بشكل مفتوح أمر ممكن، وقد أثر نموذجها على الإصدارات المفتوحة اللاحقة والدفع الأوسع نحو الشفافية. من المرجح أن يعتمد العمل متعدد اللغات في المستقبل على دروسه في توثيق البيانات والتغطية اللغوية الشاملة، في حين أن النماذج الأحدث والأكثر كفاءة قد تفوقت على BLOOM في القدرات الأولية. إن إرثها الدائم هو قاعدة نشر بطاقات النماذج، وبيانات البيانات، والتراخيص المسؤولة، بالإضافة إلى إثبات أن الحوسبة العامة يمكنها تدريب النماذج ذات النطاق الحدودي.
التنفيذ في العالم الحقيقي
إنشاء واستكمال النص عبر عشرات اللغات، بما في ذلك اللغات التي لا تخدمها النماذج التجارية
بمثابة خط أساس بحثي مفتوح لدراسة التحيز والنقل متعدد اللغات وسلوك القياس
الضبط الدقيق للمتغيرات الخاصة بالمهمة أو التي تتبع التعليمات مثل BLOOMZ للمجتمعات غير الإنجليزية
توفير نموذج موثق بالكامل للأكاديميين الذين يدرسون مصدر بيانات التدريب والترخيص المسؤول للذكاء الاصطناعي
المخاطر والدرابزين
قد تتجاوز إعلانات الإطلاق الاستقرار في سير عمل الإنتاج الحقيقي.
يمكن أن يؤدي تسعير واجهة برمجة التطبيقات (API) أو تغيرات السياسة إلى كسر الافتراضات بين عشية وضحاها.
يؤدي الاعتماد على بائع واحد إلى زيادة تكاليف الحجز والترحيل.
خارطة طريق التنفيذ
قم بتقييم مقدمي الخدمة باستخدام المهام ومجموعات البيانات الخاصة بك.
راجع الخصوصية والأمان والمصطلحات القانونية قبل التكامل.
احتفظ بخطة احتياطية عبر النماذج أو البائعين.
راقب ملاحظات الإصدار حتى لا تفاجئ التغييرات في خارطة الطريق الفرق.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
نماذج التعليمات البرمجية ذات السياق الطويل للذكاء الاصطناعي السحري
الأسئلة المتداولة
What is BigScience and the BLOOM Model?
كان BigScience عبارة عن تعاون بحثي مفتوح لمدة عام لأكثر من 1000 باحث أنتج BLOOM، وهو واحد من أول نماذج اللغات الكبيرة متعددة اللغات والتي تم إصدارها بشكل مفتوح. إنه أمر مهم باعتباره علامة بارزة في مجال الذكاء الاصطناعي الشفاف والموجه من المجتمع والمبني خارج شركات التكنولوجيا الكبرى.
ما هو الهدف الأساسي المميز لنموذج BLOOM مقارنة بالنماذج ذات الحجم المماثل في عصره؟
تم تصميم BLOOM ليكون متعدد اللغات حقًا وتم إصداره بشكل مفتوح مع التوثيق الكامل، على عكس النماذج المغلقة ذات الحجم المماثل.
ما هو عدد المعلمات التي يمتلكها BLOOM تقريبًا؟
BLOOM هو نموذج ذو 176 مليار معلمة، مما يجعله على مقياس مماثل لـ GPT-3.
كم عدد اللغات الطبيعية التي تم تدريب بلوم على التعامل معها؟
غطت مجموعة تدريب BLOOM's ROOTS 46 لغة طبيعية بالإضافة إلى 13 لغة برمجة.
ما هي المنظمة التي قامت بتنسيق تعاون BigScience؟
قامت شركة Hugging Face بتنسيق BigScience، وهي ورشة عمل تضم أكثر من 1000 باحث متطوع.
أين تم تدريب بلوم؟
تم تدريب بلوم على الكمبيوتر العملاق جان زاي في فرنسا، مما يدل على أن الحوسبة العامة يمكنها تدريب نموذج على نطاق الحدود.