ServiceNow en StarCoder
StarCoder is een open groottaalmodel voor code, gebouwd door ServiceNow Research en Hugging Face via het BigCode-project.
Overzicht
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Diepe duik
StarCoder is een familie van modellen voor het genereren van code die in mei 2023 is uitgebracht door BigCode, een samenwerking onder leiding van ServiceNow Research en Hugging Face. Het vlaggenschip StarCoderBase is een model met 15,5 miljard parameters dat is getraind op ongeveer een biljoen tokens afkomstig uit The Stack, een grote dataset van broncode met toestemmingslicentie die meer dan 80 programmeertalen omvat. Een belangrijk onderscheidend kenmerk is het contextvenster met 8.000 tokens en de Fill-in-the-Middle-training, waardoor het code kan voltooien die zowel voorgaande als volgende regels bevat in plaats van alleen vooruit te voorspellen. BigCode legde de nadruk op data governance: het publiceerde de trainingsgegevens, bood ontwikkelaars een opt-out-tool aan en bracht het model uit onder de verantwoordelijke OpenRAIL-M-licentie. StarCoder2, uitgebracht in 2024, breidde de dekking uit naar meer dan 600 talen.
Technisch inzicht
StarCoder maakt gebruik van een decoder-only transformator met aandacht voor meerdere vragen, die sleutel- en waardeprojecties over aandachtshoofden deelt om het geheugengebruik te verminderen en de gevolgtrekking bij lange contextlengtes te versnellen. Het is getraind met Fill-in-the-Middle, waarbij documenten willekeurig worden gesplitst en opnieuw worden geordend, zodat het model leert een ontbrekende reeks te genereren op basis van de omringende code. Dit maakt het zeer geschikt voor automatische IDE-aanvulling, waarbij context aan beide zijden van de cursor aanwezig is.
Strategische impact
Vendor strategy
Roadmaps van leveranciers beïnvloeden welke functies uw team vervolgens kan bouwen.
Cost and budget
Commerciële voorwaarden en implementatieopties zijn van invloed op de kosten en risico's op de lange termijn.
Risk and safety
Bedrijfsprikkels bepalen productgebreken, veiligheidshouding en openheid.
De toekomst van ServiceNow en StarCoder
Codemodellen evolueren naar agentische workflows waarbij ze niet alleen automatisch aanvullen, maar ook plannen, tests uitvoeren en hun eigen uitvoer repareren. StarCoder2, getraind op de grotere Stack v2-dataset gebouwd met Software Heritage, wijst in de richting van een bredere taaldekking en een betere herkomst van de gegevens. Verwacht een voortdurende nadruk op transparante trainingsgegevens, opt-out-mechanismen en duidelijkheid over licenties naarmate het juridische toezicht op door code getrainde modellen toeneemt, plus een nauwere integratie in zakelijke ontwikkelaarsplatforms.
Implementatie in de echte wereld
Suggesties voor automatisch aanvullen en codeaanvulling mogelijk maken in IDE-plug-ins en editorextensies
Het genereren van boilerplate-functies, unit-tests en docstrings op basis van commentaar in natuurlijke taal
Code vertalen of refactoren tussen programmeertalen binnen een bedrijfscodebase
Dient als een zelf-hostbare coderingsassistent voor organisaties die geen eigen code naar gesloten cloud-API's kunnen sturen
Risico's en vangrails
Lanceringsaankondigingen kunnen de stabiliteit in echte productieworkflows overtreffen.
API-prijzen of beleidswijzigingen kunnen van de ene op de andere dag de aannames doorbreken.
De afhankelijkheid van één leverancier verhoogt de lock-in- en migratiekosten.
Implementatie routekaart
Evalueer providers met behulp van uw eigen taken en datasets.
Controleer de privacy-, beveiligings- en juridische voorwaarden vóór de integratie.
Onderhoud een noodplan voor alle modellen of leveranciers.
Houd de release-opmerkingen in de gaten, zodat wijzigingen in de routekaart teams niet verrassen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
LAION en open datasets
Frequently asked questions
What is ServiceNow and StarCoder?
StarCoder is een open groottaalmodel voor code, gebouwd door ServiceNow Research en Hugging Face via het BigCode-project. Het is van belang omdat het een transparant opgeleide codeerassistent met een vergunning naar een vakgebied bracht dat werd gedomineerd door gesloten modellen.
Welke twee organisaties hebben mede leiding gegeven aan het BigCode-project dat StarCoder produceerde?
BigCode was een gezamenlijke inspanning onder leiding van ServiceNow Research en Hugging Face om open, verantwoord ontwikkelde codemodellen te bouwen.
Wat is de naam van de dataset met broncode met toestemmingslicentie die wordt gebruikt om StarCoder te trainen?
StarCoder is getraind in The Stack, een groot corpus met code onder licentie in meer dan 80 talen.
Met welke trainingstechniek kan StarCoder code voltooien met behulp van context aan beide zijden van de cursor?
Fill-in-the-Middle-training herschikt documenten zodat het model leert een ontbrekende spanwijdte te genereren, gegeven de voorafgaande en volgende context.
Hoe groot is het vlaggenschip StarCoderBase-model ongeveer?
StarCoderBase heeft ongeveer 15,5 miljard parameters, bescheiden volgens grensnormen, maar sterk vanwege zijn omvang op het gebied van codetaken.
Welke aandachtsoptimalisatie gebruikt StarCoder om het geheugen te verminderen en de gevolgtrekking te versnellen?
StarCoder maakt gebruik van aandacht voor meerdere vragen, waarbij sleutel- en waardeprojecties over hoofden worden gedeeld om geheugen te besparen en gevolgtrekkingen uit de lange context te versnellen.