ServiceNow وStarCoder
StarCoder هو نموذج لغة كبير ومفتوح للتعليمات البرمجية، تم إنشاؤه بواسطة ServiceNow Research وHugging Face من خلال مشروع BigCode.
نظرة عامة
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
الغوص العميق
StarCoder هي عائلة من نماذج إنشاء التعليمات البرمجية التي تم إصدارها في مايو 2023 بواسطة BigCode، وهو تعاون بقيادة ServiceNow Research وHugging Face. يعد StarCoderBase الرائد نموذجًا مكونًا من 15.5 مليار معلمة تم تدريبه على ما يقرب من تريليون رمز مأخوذ من The Stack، وهي مجموعة بيانات كبيرة من كود المصدر المرخص بشكل مرخص والتي تغطي أكثر من 80 لغة برمجة. السمة المميزة الرئيسية هي نافذة السياق المكونة من 8000 رمز مميز والتدريب على التعبئة في المنتصف، مما يسمح لها بإكمال التعليمات البرمجية في ضوء الأسطر السابقة واللاحقة بدلاً من التنبؤ بالمستقبل فقط. ركزت BigCode على حوكمة البيانات: فقد نشرت بيانات التدريب، وقدمت أداة إلغاء الاشتراك للمطورين، وأصدرت النموذج بموجب ترخيص OpenRAIL-M المسؤول. تم إصدار StarCoder2 في عام 2024، ووسع نطاق التغطية ليشمل أكثر من 600 لغة.
البصيرة الفنية
يستخدم StarCoder محول وحدة فك التشفير فقط مع اهتمام متعدد الاستعلامات، والذي يشارك إسقاطات المفاتيح والقيمة عبر رؤوس الانتباه لتقليص استخدام الذاكرة وتسريع الاستدلال على أطوال السياق الطويلة. تم تدريبه باستخدام تقنية "Fill-in-the-Middle"، حيث يتم تقسيم المستندات وإعادة ترتيبها بشكل عشوائي بحيث يتعلم النموذج إنشاء نطاق مفقود مشروط بالرمز المحيط. وهذا يجعله مناسبًا تمامًا للإكمال التلقائي لـ IDE، حيث يوجد السياق على جانبي المؤشر.
التأثير الاستراتيجي
استراتيجية البائع
تؤثر خرائط طريق البائع على الميزات التي يمكن لفريقك إنشاءها بعد ذلك.
التكلفة والميزانية
تؤثر الشروط التجارية وخيارات النشر على التكلفة والمخاطر على المدى الطويل.
المخاطر والسلامة
تعمل حوافز الشركة على تشكيل الإعدادات الافتراضية للمنتج، ووضعية السلامة، والانفتاح.
مستقبل ServiceNow وStarCoder
تتجه نماذج التعليمات البرمجية نحو سير العمل الوكيل، حيث لا تقوم بالإكمال التلقائي فحسب، بل تخطط وتجري الاختبارات وتصلح مخرجاتها الخاصة. يشير StarCoder2، الذي تم تدريبه على مجموعة بيانات Stack v2 الأكبر التي تم إنشاؤها باستخدام Software Heritage، إلى تغطية لغوية أوسع ومصدر أفضل للبيانات. توقع استمرار التركيز على بيانات التدريب الشفافة، وآليات إلغاء الاشتراك، ووضوح الترخيص مع تزايد التدقيق القانوني للنماذج المدربة على التعليمات البرمجية، بالإضافة إلى التكامل الأكثر إحكامًا في منصات مطوري المؤسسات.
التنفيذ في العالم الحقيقي
تشغيل اقتراحات الإكمال التلقائي وإكمال التعليمات البرمجية داخل مكونات IDE الإضافية وملحقات المحرر
إنشاء وظائف معيارية واختبارات الوحدة والمستندات من تعليق باللغة الطبيعية
ترجمة أو إعادة بناء التعليمات البرمجية بين لغات البرمجة داخل قاعدة بيانات المؤسسة
العمل كمساعد ترميز ذاتي الاستضافة للمؤسسات التي لا يمكنها إرسال تعليمات برمجية خاصة إلى واجهات برمجة التطبيقات السحابية المغلقة
المخاطر والدرابزين
قد تتجاوز إعلانات الإطلاق الاستقرار في سير عمل الإنتاج الحقيقي.
يمكن أن يؤدي تسعير واجهة برمجة التطبيقات (API) أو تغيرات السياسة إلى كسر الافتراضات بين عشية وضحاها.
يؤدي الاعتماد على بائع واحد إلى زيادة تكاليف الحجز والترحيل.
خارطة طريق التنفيذ
قم بتقييم مقدمي الخدمة باستخدام المهام ومجموعات البيانات الخاصة بك.
راجع الخصوصية والأمان والمصطلحات القانونية قبل التكامل.
احتفظ بخطة احتياطية عبر النماذج أو البائعين.
راقب ملاحظات الإصدار حتى لا تفاجئ التغييرات في خارطة الطريق الفرق.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
LAION ومجموعات البيانات المفتوحة
الأسئلة المتداولة
What is ServiceNow and StarCoder?
StarCoder هو نموذج لغة كبير ومفتوح للتعليمات البرمجية، تم إنشاؤه بواسطة ServiceNow Research وHugging Face من خلال مشروع BigCode. إنه أمر مهم لأنه جلب مساعد برمجة مرخصًا ومدربًا بشكل شفاف إلى مجال تهيمن عليه النماذج المغلقة.
ما المنظمتان اللتان شاركتا في قيادة مشروع BigCode الذي أنتج StarCoder؟
كان BigCode عبارة عن جهد تعاوني بقيادة ServiceNow Research وHugging Face لبناء نماذج تعليمات برمجية مفتوحة ومطورة بشكل مسؤول.
ما اسم مجموعة البيانات الخاصة بكود المصدر المرخص والمستخدم لتدريب StarCoder؟
تم تدريب StarCoder على The Stack، وهي مجموعة كبيرة من التعليمات البرمجية المرخصة عبر أكثر من 80 لغة.
ما هي تقنية التدريب التي تتيح لـ StarCoder إكمال التعليمات البرمجية باستخدام السياق الموجود على جانبي المؤشر؟
يعمل تدريب ملء الوسط على إعادة ترتيب المستندات بحيث يتعلم النموذج إنشاء نطاق مفقود في ضوء السياق السابق والتالي.
ما هو حجم نموذج StarCoderBase الرئيسي تقريبًا؟
يحتوي StarCoderBase على حوالي 15.5 مليار معلمة، وهي متواضعة وفقًا للمعايير الحدودية ولكنها قوية بالنسبة لحجمها في مهام التعليمات البرمجية.
ما هو تحسين الانتباه الذي يستخدمه StarCoder لتقليل الذاكرة وتسريع الاستدلال؟
يستخدم StarCoder اهتمامًا متعدد الاستعلامات، ويشارك توقعات المفاتيح والقيمة عبر الرؤوس لقطع الذاكرة وتسريع الاستدلال على السياق الطويل.