Bedrijven GIDS
ServiceNow en StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Luister naar deze gidsAI-verteld · ~2 min
Op deze pagina2 min lezen
Overzicht
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Diepe duik
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Implementatie in de echte wereld
Suggesties voor automatisch aanvullen en codeaanvulling mogelijk maken in IDE-plug-ins en editorextensies
Het genereren van boilerplate-functies, unit-tests en docstrings op basis van commentaar in natuurlijke taal
Code vertalen of refactoren tussen programmeertalen binnen een bedrijfscodebase
Dient als een zelf-hostbare coderingsassistent voor organisaties die geen eigen code naar gesloten cloud-API's kunnen sturen
De toekomst van ServiceNow en StarCoder
Codemodellen evolueren naar agentische workflows waarbij ze niet alleen automatisch aanvullen, maar ook plannen, tests uitvoeren en hun eigen uitvoer repareren. StarCoder2, getraind op de grotere Stack v2-dataset gebouwd met Software Heritage, wijst in de richting van een bredere taaldekking en een betere herkomst van de gegevens. Verwacht een voortdurende nadruk op transparante trainingsgegevens, opt-out-mechanismen en duidelijkheid over licenties naarmate het juridische toezicht op door code getrainde modellen toeneemt, plus een nauwere integratie in zakelijke ontwikkelaarsplatforms.
Het in de praktijk brengen
Waarom het ertoe doet
- Leveranciersstrategie. Roadmaps van leveranciers beïnvloeden welke functies uw team vervolgens kan bouwen.
- Kosten en budget. Commerciële voorwaarden en implementatieopties zijn van invloed op de kosten en risico's op de lange termijn.
- Risico en veiligheid. Bedrijfsprikkels bepalen productgebreken, veiligheidshouding en openheid.
Pas op voor
- Lanceringsaankondigingen kunnen de stabiliteit in echte productieworkflows overtreffen.
- API-prijzen of beleidswijzigingen kunnen van de ene op de andere dag de aannames doorbreken.
- De afhankelijkheid van één leverancier verhoogt de lock-in- en migratiekosten.
Volgende stappen
- Evalueer providers met behulp van uw eigen taken en datasets.
- Controleer de privacy-, beveiligings- en juridische voorwaarden vóór de integratie.
- Onderhoud een noodplan voor alle modellen of leveranciers.
- Houd de release-opmerkingen in de gaten, zodat wijzigingen in de routekaart teams niet verrassen.
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Take the ServiceNow and StarCoder quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
What is ServiceNow and StarCoder?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Welke twee organisaties hebben mede leiding gegeven aan het BigCode-project dat StarCoder produceerde?
BigCode was een gezamenlijke inspanning onder leiding van ServiceNow Research en Hugging Face om open, verantwoord ontwikkelde codemodellen te bouwen.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
Met welke trainingstechniek kan StarCoder code voltooien met behulp van context aan beide zijden van de cursor?
Fill-in-the-Middle-training herschikt documenten zodat het model leert een ontbrekende spanwijdte te genereren, gegeven de voorafgaande en volgende context.
Hoe groot is het vlaggenschip StarCoderBase-model ongeveer?
StarCoderBase heeft ongeveer 15,5 miljard parameters, bescheiden volgens grensnormen, maar sterk vanwege zijn omvang op het gebied van codetaken.
Welke aandachtsoptimalisatie gebruikt StarCoder om het geheugen te verminderen en de gevolgtrekking te versnellen?
StarCoder maakt gebruik van aandacht voor meerdere vragen, waarbij sleutel- en waardeprojecties over hoofden worden gedeeld om geheugen te besparen en gevolgtrekkingen uit de lange context te versnellen.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd