सर्विसनाउ और स्टारकोडर
स्टारकोडर कोड के लिए एक खुला बड़ा भाषा मॉडल है, जिसे बिगकोड प्रोजेक्ट के माध्यम से सर्विसनाउ रिसर्च और हगिंग फेस द्वारा बनाया गया है।
सिंहावलोकन
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
गहरा गोता
स्टारकोडर मई 2023 में सर्विसनाउ रिसर्च और हगिंग फेस के सह-नेतृत्व वाले सहयोग बिगकोड द्वारा जारी कोड-जेनरेशन मॉडल का एक परिवार है। फ्लैगशिप StarCoderBase एक 15.5-बिलियन-पैरामीटर मॉडल है जो द स्टैक से निकाले गए लगभग एक ट्रिलियन टोकन पर प्रशिक्षित है, जो 80 से अधिक प्रोग्रामिंग भाषाओं में फैले अनुमेय लाइसेंस प्राप्त स्रोत कोड का एक बड़ा डेटासेट है। एक प्रमुख विशिष्ट विशेषता इसकी 8,000-टोकन संदर्भ विंडो और फ़िल-इन-द-मिडिल प्रशिक्षण है, जो इसे केवल आगे की भविष्यवाणी करने के बजाय पूर्ववर्ती और निम्नलिखित दोनों पंक्तियों में दिए गए कोड को पूरा करने देती है। बिगकोड ने डेटा गवर्नेंस पर जोर दिया: इसने प्रशिक्षण डेटा प्रकाशित किया, डेवलपर्स के लिए एक ऑप्ट-आउट टूल की पेशकश की, और जिम्मेदार ओपनरेल-एम लाइसेंस के तहत मॉडल जारी किया। 2024 में रिलीज़ हुए StarCoder2 ने 600 से अधिक भाषाओं में कवरेज का विस्तार किया।
तकनीकी अंतर्दृष्टि
स्टारकोडर बहु-क्वेरी ध्यान के साथ एक डिकोडर-केवल ट्रांसफार्मर का उपयोग करता है, जो स्मृति उपयोग को कम करने और लंबी संदर्भ लंबाई पर अनुमान को तेज करने के लिए ध्यान प्रमुखों में कुंजी और मूल्य अनुमानों को साझा करता है। इसे फिल-इन-द-मिडिल के साथ प्रशिक्षित किया गया था, जहां दस्तावेज़ों को बेतरतीब ढंग से विभाजित और पुन: व्यवस्थित किया जाता है ताकि मॉडल आसपास के कोड पर वातानुकूलित एक लापता स्पैन उत्पन्न करना सीख सके। यह इसे आईडीई स्वत: पूर्णता के लिए उपयुक्त बनाता है, जहां कर्सर के दोनों तरफ संदर्भ मौजूद होता है।
सामरिक प्रभाव
विक्रेता रणनीति
विक्रेता रोडमैप इस बात को प्रभावित करते हैं कि आपकी टीम आगे क्या सुविधाएँ बना सकती है।
लागत और बजट
वाणिज्यिक शर्तें और तैनाती विकल्प दीर्घकालिक लागत और जोखिम को प्रभावित करते हैं।
जोखिम और सुरक्षा
कंपनी के प्रोत्साहन उत्पाद चूक, सुरक्षा स्थिति और खुलेपन को आकार देते हैं।
ServiceNow और StarCoder का भविष्य
कोड मॉडल एजेंटिक वर्कफ़्लोज़ की ओर बढ़ रहे हैं जहां वे न केवल स्वत: पूर्ण होते हैं बल्कि योजना बनाते हैं, परीक्षण चलाते हैं और अपने स्वयं के आउटपुट को ठीक करते हैं। सॉफ़्टवेयर हेरिटेज के साथ निर्मित बड़े स्टैक v2 डेटासेट पर प्रशिक्षित StarCoder2, व्यापक भाषा कवरेज और बेहतर डेटा उद्गम की ओर इशारा करता है। उम्मीद है कि कोड-प्रशिक्षित मॉडलों की कानूनी जांच बढ़ने के साथ-साथ एंटरप्राइज़ डेवलपर प्लेटफ़ॉर्म में सख्त एकीकरण के साथ-साथ पारदर्शी प्रशिक्षण डेटा, ऑप्ट-आउट तंत्र और लाइसेंसिंग स्पष्टता पर जोर जारी रहेगा।
वास्तविक विश्व कार्यान्वयन
आईडीई प्लगइन्स और संपादक एक्सटेंशन के अंदर स्वत: पूर्ण और कोड-पूर्णता सुझावों को सशक्त बनाना
प्राकृतिक भाषा की टिप्पणी से बॉयलरप्लेट फ़ंक्शंस, यूनिट परीक्षण और डॉकस्ट्रिंग्स उत्पन्न करना
एंटरप्राइज़ कोडबेस के भीतर प्रोग्रामिंग भाषाओं के बीच कोड का अनुवाद या रीफ़ैक्टरिंग
उन संगठनों के लिए स्व-होस्टेबल कोडिंग सहायक के रूप में कार्य करना जो बंद क्लाउड एपीआई पर मालिकाना कोड नहीं भेज सकते हैं
जोखिम और रेलिंग
लॉन्च घोषणाएँ वास्तविक उत्पादन वर्कफ़्लो में स्थिरता को पीछे छोड़ सकती हैं।
एपीआई मूल्य निर्धारण या नीतिगत बदलाव रातों-रात धारणाओं को तोड़ सकते हैं।
एकल-विक्रेता निर्भरता से लॉक-इन और माइग्रेशन लागत बढ़ जाती है।
कार्यान्वयन रोडमैप
अपने स्वयं के कार्यों और डेटासेट का उपयोग करके प्रदाताओं का मूल्यांकन करें।
एकीकरण से पहले गोपनीयता, सुरक्षा और कानूनी शर्तों की समीक्षा करें।
सभी मॉडलों या विक्रेताओं के बीच फ़ॉलबैक योजना बनाए रखें।
रिलीज़ नोट्स की निगरानी करें ताकि रोडमैप परिवर्तन टीमों को आश्चर्यचकित न करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
LAION और ओपन डेटासेट
अक्सर पूछे जाने वाले प्रश्नों
What is ServiceNow and StarCoder?
स्टारकोडर कोड के लिए एक खुला बड़ा भाषा मॉडल है, जिसे बिगकोड प्रोजेक्ट के माध्यम से सर्विसनाउ रिसर्च और हगिंग फेस द्वारा बनाया गया है। यह मायने रखता है क्योंकि यह बंद मॉडलों के प्रभुत्व वाले क्षेत्र में एक अनुज्ञेय रूप से लाइसेंस प्राप्त, पारदर्शी रूप से प्रशिक्षित कोडिंग सहायक लाया।
किन दो संगठनों ने बिगकोड परियोजना का सह-नेतृत्व किया जिसने स्टारकोडर का निर्माण किया?
बिगकोड खुले, जिम्मेदारी से विकसित कोड मॉडल बनाने के लिए सर्विसनाउ रिसर्च और हगिंग फेस के सह-नेतृत्व में एक सहयोगात्मक प्रयास था।
StarCoder को प्रशिक्षित करने के लिए उपयोग किए जाने वाले अनुज्ञेय लाइसेंस प्राप्त स्रोत कोड के डेटासेट का नाम क्या है?
स्टारकोडर को द स्टैक पर प्रशिक्षित किया गया था, जो 80 से अधिक भाषाओं में अनुज्ञेय लाइसेंस प्राप्त कोड का एक बड़ा भंडार है।
कौन सी प्रशिक्षण तकनीक स्टारकोडर को कर्सर के दोनों तरफ संदर्भ का उपयोग करके कोड पूरा करने देती है?
फिल-इन-द-मिडिल प्रशिक्षण दस्तावेजों को पुन: व्यवस्थित करता है ताकि मॉडल पूर्ववर्ती और निम्नलिखित संदर्भ में एक लापता स्पैन उत्पन्न करना सीख सके।
फ्लैगशिप StarCoderBase मॉडल लगभग कितना बड़ा है?
StarCoderBase में लगभग 15.5 बिलियन पैरामीटर हैं, जो सीमांत मानकों के हिसाब से मामूली हैं लेकिन कोड कार्यों पर अपने आकार के लिए मजबूत हैं।
मेमोरी को कम करने और अनुमान को तेज करने के लिए स्टारकोडर किस ध्यान अनुकूलन का उपयोग करता है?
स्टारकोडर मेमोरी में कटौती करने और लंबे-संदर्भ अनुमान में तेजी लाने के लिए मल्टी-क्वेरी ध्यान का उपयोग करता है, प्रमुखों में कुंजी और मूल्य अनुमान साझा करता है।