ServiceNow och StarCoder
StarCoder är en öppen stor språkmodell för kod, byggd av ServiceNow Research och Hugging Face genom BigCode-projektet.
Översikt
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Djupdykning
StarCoder är en familj av kodgenererande modeller som släpptes i maj 2023 av BigCode, ett samarbete som leds av ServiceNow Research och Hugging Face. Flaggskeppet StarCoderBase är en modell med 15,5 miljarder parametrar som tränas på ungefär en biljon tokens från The Stack, en stor datauppsättning med tillåtet licensierad källkod som spänner över mer än 80 programmeringsspråk. En viktig utmärkande funktion är dess 8 000-tokens kontextfönster och Fill-in-the-Middle-träning, som låter den komplettera koden givet både föregående och efterföljande rader istället för att bara förutsäga framåt. BigCode betonade datastyrning: det publicerade utbildningsdata, erbjöd ett opt-out-verktyg för utvecklare och släppte modellen under den ansvariga OpenRAIL-M-licensen. StarCoder2, som släpptes 2024, utökade täckningen till över 600 språk.
Teknisk insikt
StarCoder använder en transformator som endast är avkodare med uppmärksamhet för flera frågor, som delar nyckel- och värdeprojektioner över uppmärksamhetshuvudena för att minska minnesanvändningen och påskynda slutledningar vid långa sammanhangslängder. Den tränades med Fill-in-the-Middle, där dokument delas slumpmässigt och ordnas om så att modellen lär sig att generera en saknad span beroende på omgivande kod. Detta gör den väl lämpad för IDE-autokomplettering, där kontext finns på båda sidor av markören.
Strategisk inverkan
Vendor strategy
Leverantörsfärdplaner påverkar vilka funktioner ditt team kan bygga härnäst.
Cost and budget
Kommersiella villkor och distributionsalternativ påverkar långsiktiga kostnader och risker.
Risk and safety
Företagsincitament formar produktstandarder, säkerhetsställning och öppenhet.
Framtiden för ServiceNow och StarCoder
Kodmodeller går mot agentiska arbetsflöden där de inte bara autokompletterar utan planerar, kör tester och fixar sina egna utdata. StarCoder2, utbildad på den större Stack v2-datauppsättningen byggd med Software Heritage, pekar mot bredare språktäckning och bättre datahärkomst. Räkna med fortsatt tonvikt på transparent utbildningsdata, opt-out-mekanismer och tydlig licensiering i takt med att den juridiska granskningen av kodutbildade modeller växer, plus stramare integration i företagsutvecklarplattformar.
Real-World Implementation
Drivförslag för autoslutförande och kodkomplettering i IDE-plugins och redigerartillägg
Genererar boilerplate-funktioner, enhetstester och docstrings från en kommentar på naturligt språk
Översättning eller omstrukturering av kod mellan programmeringsspråk inom en företagskodbas
Fungerar som en självvärd kodningsassistent för organisationer som inte kan skicka proprietär kod till slutna moln-API:er
Risker & skyddsräcken
Lanseringsmeddelanden kan överträffa stabiliteten i verkliga produktionsarbetsflöden.
API-prissättning eller policyförskjutningar kan bryta antaganden över en natt.
Beroende av en leverantör ökar inlåsnings- och migreringskostnaderna.
Färdplan för genomförande
Utvärdera leverantörer med dina egna uppgifter och datauppsättningar.
Granska sekretess, säkerhet och juridiska villkor innan integration.
Upprätthåll en reservplan över modeller eller leverantörer.
Övervaka release notes så att förändringar i färdplanen inte överraskar team.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
LAION och Open Dataset
Frequently asked questions
What is ServiceNow and StarCoder?
StarCoder är en öppen stor språkmodell för kod, byggd av ServiceNow Research och Hugging Face genom BigCode-projektet. Det är viktigt eftersom det förde en tillåtet licensierad, transparent utbildad kodningsassistent till ett område som domineras av slutna modeller.
Vilka två organisationer ledde tillsammans BigCode-projektet som producerade StarCoder?
BigCode var ett samarbete som leddes av ServiceNow Research och Hugging Face för att bygga öppna, ansvarsfullt utvecklade kodmodeller.
Vad heter datasetet med tillåtet licensierad källkod som används för att träna StarCoder?
StarCoder utbildades på The Stack, en stor korpus av tillåtet licensierad kod på mer än 80 språk.
Vilken träningsteknik låter StarCoder slutföra kod med hjälp av sammanhang på båda sidor av markören?
Fill-in-the-Middle-träning omordnar dokument så att modellen lär sig att generera en saknad span givet föregående och följande sammanhang.
Ungefär hur stor är flaggskeppsmodellen StarCoderBase?
StarCoderBase har cirka 15,5 miljarder parametrar, blygsamma med gränsstandarder men stark för sin storlek på koduppgifter.
Vilken uppmärksamhetsoptimering använder StarCoder för att minska minnet och påskynda slutledningar?
StarCoder använder uppmärksamhet för flera frågor, delar nyckel- och värdeprojektioner över huvudena för att skära ner minnet och påskynda slutledningar i långa sammanhang.