إليوثيرAI
EleutherAI هي مجموعة بحثية شعبية غير ربحية كانت رائدة في نماذج اللغات الكبيرة مفتوحة المصدر عندما كان الذكاء الاصطناعي الحدودي مغلقًا خلف جدران الشركات.
نظرة عامة
وقد أثبتت أن مجتمع المتطوعين يمكنه بناء وإطلاق نماذج تنافس الأنظمة المغلقة، مما يعيد تشكيل من يشارك في أبحاث الذكاء الاصطناعي.
الغوص العميق
بدأت EleutherAI في يوليو 2020 كمجتمع Discord نظمه كونور ليهي وسيد بلاك وليو جاو، بهدف تكرار OpenAI's GPT-3. لتدريب مثل هذه النماذج، قاموا أولاً ببناء وإصدار The Pile، وهي مجموعة بيانات نصية منسقة بسعة 825 جيجابايت والتي أصبحت مجموعة تدريب مفتوحة قياسية. ثم أطلقوا GPT-Neo، وGPT-J-6B، وGPT-NeoX-20B ذات 20 مليار معلمة، من بين أكبر نماذج اللغات المتاحة بشكل مفتوح في عصرهم. أدواتهم، بما في ذلك مكتبة التدريب GPT-NeoX وأداة تقييم LM المستخدمة على مستوى الصناعة لقياس الأداء، أصبحت بنية تحتية اعتمد عليها الآخرون. في عام 2023، أصبح EleutherAI رسميًا معهد أبحاث غير ربحي، يتوسع ليشمل إمكانية التفسير والمواءمة وعلم كيفية تعلم النماذج.
البصيرة الفنية
تستخدم نماذج EleutherAI بنية فك تشفير المحولات، لكن GPT-J وGPT-NeoX قدمت خيارات هندسية عملية مثل Rotary Positional Embeddings (RoPE) لتشفير مواضع الرموز المميزة وطبقات الاهتمام والتغذية المتوازية لتسريع التدريب. والأهم من ذلك، أنهم تدربوا على وحدات معالجة الرسومات (TPU) ووحدات معالجة الرسومات التي تم التبرع بها من خلال شراكات مثل Google's TPU Research Cloud وCoreWeave، مما يوضح أن الحوسبة الموزعة والممولة من الجهة الراعية يمكن أن تحل محل مركز بيانات الشركة عند إقرانها بكود مفتوح.
التأثير الاستراتيجي
استراتيجية البائع
تؤثر خرائط طريق البائع على الميزات التي يمكن لفريقك إنشاءها بعد ذلك.
التكلفة والميزانية
تؤثر الشروط التجارية وخيارات النشر على التكلفة والمخاطر على المدى الطويل.
المخاطر والسلامة
تعمل حوافز الشركة على تشكيل الإعدادات الافتراضية للمنتج، ووضعية السلامة، والانفتاح.
مستقبل إليوثير AI
تتحول شركة EleutherAI من سباق خالص لتوسيع نطاق النماذج نحو إمكانية التفسير، وشفافية بيانات التدريب، والتقييم الدقيق، وهي المجالات التي تشتد الحاجة إلى العلم المفتوح فيها. توقع استمرار العمل على فهم ما تمثله النماذج داخليًا، وإصدار مجموعات بيانات موثقة جيدًا، ودعم أبحاث السلامة المستقلة. مع تزايد سرية المختبرات الحدودية، من المحتمل أن يكون دور EleutherAI كثقل موازن للمصلحة العامة، وتدريب الجيل القادم من الباحثين، أكثر أهمية من عدد المعلمات لأي نموذج منفرد تقوم بشحنه.
التنفيذ في العالم الحقيقي
يستخدم الباحثون في جميع أنحاء العالم مجموعة بيانات Pile لتدريب ودراسة نماذج اللغة المفتوحة بشكل متكرر.
يتم نشر GPT-J-6B وGPT-NeoX-20B بواسطة الشركات الناشئة والأكاديميين كبدائل مجانية لنماذج واجهة برمجة التطبيقات التجارية.
إن أداة تقييم LM هي الأداة القياسية التي تستخدمها العديد من المعامل لقياس أداء النموذج عبر مئات المهام.
يستخدم الباحثون المستقلون في مجال السلامة وقابلية التفسير أوزان EleutherAI المفتوحة لدراسة الأجزاء الداخلية للنموذج التي تخفيها واجهات برمجة التطبيقات المغلقة.
المخاطر والدرابزين
قد تتجاوز إعلانات الإطلاق الاستقرار في سير عمل الإنتاج الحقيقي.
يمكن أن يؤدي تسعير واجهة برمجة التطبيقات (API) أو تغيرات السياسة إلى كسر الافتراضات بين عشية وضحاها.
يؤدي الاعتماد على بائع واحد إلى زيادة تكاليف الحجز والترحيل.
خارطة طريق التنفيذ
قم بتقييم مقدمي الخدمة باستخدام المهام ومجموعات البيانات الخاصة بك.
راجع الخصوصية والأمان والمصطلحات القانونية قبل التكامل.
احتفظ بخطة احتياطية عبر النماذج أو البائعين.
راقب ملاحظات الإصدار حتى لا تفاجئ التغييرات في خارطة الطريق الفرق.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
الأوزان والتحيزات
الأسئلة المتداولة
ما هو EleutherAI؟
EleutherAI هي مجموعة بحثية شعبية غير ربحية كانت رائدة في نماذج اللغات الكبيرة مفتوحة المصدر عندما كان الذكاء الاصطناعي الحدودي مغلقًا خلف جدران الشركات. لقد أثبت أن المجتمع التطوعي يمكنه بناء نماذج تنافس الأنظمة المغلقة وإطلاقها بحرية، مما يعيد تشكيل من يمكنه المشاركة في أبحاث الذكاء الاصطناعي.
كيف بدأت EleutherAI في الأصل في عام 2020؟
بدأت EleutherAI كمجموعة Discord غير رسمية من المتطوعين الذين تم تنظيمهم لتكرار GPT-3 الذي تم إغلاقه آنذاك.
ما هو "الكومة"؟
The Pile عبارة عن مجموعة نصية كبيرة ومتنوعة ومتاحة بشكل مفتوح من EleutherAI تم تصميمها لتدريب نماذج اللغة ودراستها.
أي مما يلي يعد نموذجًا للغة EleutherAI؟
يعد GPT-NeoX-20B أحد النماذج المفتوحة الرائدة لشركة EleutherAI؛ أما الآخرون فيأتون من Google أو Meta.
ما هو استخدام أداة تقييم LM؟
يُعد هذا الحزام أداة مفتوحة معتمدة على نطاق واسع للتقييم الموحد لنماذج اللغة بناءً على مئات المعايير.
كيف حصلت EleutherAI على الحوسبة اللازمة لتدريب النماذج الكبيرة في وقت مبكر؟
نظرًا لافتقارها إلى مركز بيانات خاص بالشركة، اعتمدت EleutherAI على موارد TPU وGPU التي تبرعت بها الجهات الراعية لتدريب نماذجها.