ServiceNow og StarCoder
StarCoder er en åpen stor språkmodell for kode, bygget av ServiceNow Research og Hugging Face gjennom BigCode-prosjektet.
Oversikt
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Dypdykk
StarCoder er en familie av kodegenerasjonsmodeller utgitt i mai 2023 av BigCode, et samarbeid ledet av ServiceNow Research og Hugging Face. Flaggskipet StarCoderBase er en modell med 15,5 milliarder parametere som er trent på omtrent en billion tokens hentet fra The Stack, et stort datasett med tillatt lisensiert kildekode som spenner over mer enn 80 programmeringsspråk. Et viktig kjennetegn er kontekstvinduet på 8000 tokener og Fill-in-the-Middle-opplæringen, som lar den fullføre koden gitt både foregående og etterfølgende linjer i stedet for bare å forutsi fremover. BigCode la vekt på datastyring: den publiserte opplæringsdataene, tilbød et opt-out-verktøy for utviklere og ga ut modellen under den ansvarlige OpenRAIL-M-lisensen. StarCoder2, utgitt i 2024, utvidet dekningen til over 600 språk.
Teknisk innsikt
StarCoder bruker en transformator som kun er dekoder med oppmerksomhet for flere søk, som deler nøkkel- og verdiprojeksjoner på tvers av oppmerksomhetshoder for å redusere minnebruken og fremskynde inferens ved lange kontekstlengder. Den ble trent med Fill-in-the-Middle, hvor dokumenter deles tilfeldig og omorganiseres slik at modellen lærer å generere et manglende spenn avhengig av omgivende kode. Dette gjør den godt egnet for IDE-autofullføring, der konteksten eksisterer på begge sider av markøren.
Strategisk innvirkning
Vendor strategy
Leverandørveikart påvirker hvilke funksjoner teamet ditt kan bygge videre.
Cost and budget
Kommersielle vilkår og distribusjonsalternativer påvirker langsiktige kostnader og risiko.
Risiko og sikkerhet
Selskapets insentiver former produktstandarder, sikkerhetsstilling og åpenhet.
Fremtiden til ServiceNow og StarCoder
Kodemodeller beveger seg mot agentiske arbeidsflyter der de ikke bare autofullfører, men planlegger, kjører tester og fikser sine egne utdata. StarCoder2, trent på det større Stack v2-datasettet bygget med Software Heritage, peker mot bredere språkdekning og bedre dataopprinnelse. Forvent fortsatt vekt på gjennomsiktige opplæringsdata, fravalgsmekanismer og klarhet i lisensiering etter hvert som juridisk gransking av kodetrente modeller vokser, pluss tettere integrering i bedriftsutviklerplattformer.
Real-World Implementering
Driver forslag til autofullføring og kodefullføring i IDE-plugins og editor-utvidelser
Generering av boilerplate-funksjoner, enhetstester og docstrings fra en kommentar på naturlig språk
Oversettelse eller refaktorisering av kode mellom programmeringsspråk i en bedriftskodebase
Tjener som en selvhostbar kodingsassistent for organisasjoner som ikke kan sende proprietær kode til lukkede sky-APIer
Risikoer og rekkverk
Lanseringskunngjøringer kan overgå stabiliteten i ekte produksjonsarbeidsflyter.
API-priser eller endringer i retningslinjene kan bryte antagelser over natten.
Avhengighet av én leverandør øker kostnadene for innlåsing og migrering.
Veikart for implementering
Evaluer leverandører ved å bruke dine egne oppgaver og datasett.
Se gjennom personvern, sikkerhet og juridiske vilkår før integrering.
Oppretthold en reserveplan på tvers av modeller eller leverandører.
Overvåk utgivelsesnotater slik at endringer i veikart ikke overrasker teamene.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
LAION og åpne datasett
Ofte stilte spørsmål
What is ServiceNow and StarCoder?
StarCoder er en åpen stor språkmodell for kode, bygget av ServiceNow Research og Hugging Face gjennom BigCode-prosjektet. Det betyr noe fordi det brakte en tillatt lisensiert, transparent trent kodeassistent til et felt dominert av lukkede modeller.
Hvilke to organisasjoner ledet sammen BigCode-prosjektet som produserte StarCoder?
BigCode var et samarbeidsarbeid ledet av ServiceNow Research og Hugging Face for å bygge åpne, ansvarlig utviklede kodemodeller.
Hva er navnet på datasettet med tillatt lisensiert kildekode som brukes til å trene StarCoder?
StarCoder ble opplært på The Stack, et stort korpus av tillatt lisensiert kode på mer enn 80 språk.
Hvilken treningsteknikk lar StarCoder fullføre kode ved å bruke kontekst på begge sider av markøren?
Fill-in-the-Middle-trening omorganiserer dokumenter slik at modellen lærer å generere et manglende spenn gitt foregående og etterfølgende kontekst.
Omtrent hvor stor er flaggskipet StarCoderBase-modellen?
StarCoderBase har omtrent 15,5 milliarder parametere, beskjedne etter grensestandarder, men sterk for sin størrelse på kodeoppgaver.
Hvilken oppmerksomhetsoptimalisering bruker StarCoder for å redusere minne og øke hastigheten på slutninger?
StarCoder bruker oppmerksomhet med flere søk, deler nøkkel- og verdiprojeksjoner på tvers av hodet for å kutte minnet og akselerere langkontekstinferens.