ServiceNow a StarCoder
StarCoder je otevřený velký jazykový model pro kód vytvořený společností ServiceNow Research a Hugging Face prostřednictvím projektu BigCode.
Přehled
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Hluboký ponor
StarCoder je rodina modelů pro generování kódu vydaná v květnu 2023 společností BigCode, spoluprací vedenou ServiceNow Research a Hugging Face. Vlajková loď StarCoderBase je model s 15,5 miliardami parametrů trénovaný na zhruba jednom bilionu tokenů čerpaných z The Stack, velké datové sady povolně licencovaného zdrojového kódu zahrnujícího více než 80 programovacích jazyků. Klíčovým rozlišovacím znakem je jeho kontextové okno s 8 000 tokeny a trénování Fill-in-the-Middle, které umožňuje dokončit kód daný jak předchozími, tak následujícími řádky, nikoli pouze předpovídat dopředu. BigCode kladl důraz na správu dat: zveřejnil školicí data, nabídl vývojářům nástroj pro odhlášení a uvolnil model pod odpovědnou licencí OpenRAIL-M. StarCoder2, vydaný v roce 2024, rozšířil pokrytí na více než 600 jazyků.
Technický přehled
StarCoder používá pouze dekodérový transformátor s vícedotazovou pozorností, který sdílí klíčové a hodnotové projekce napříč hlavami pozornosti, aby se zmenšila spotřeba paměti a urychlila se inference při dlouhých délkách kontextu. Byl trénován pomocí Fill-in-the-Middle, kde jsou dokumenty náhodně rozděleny a přeskupovány, takže se model naučí generovat chybějící rozsah podmíněný okolním kódem. Díky tomu se dobře hodí pro automatické dokončování IDE, kde kontext existuje na obou stranách kurzoru.
Strategický dopad
Strategie dodavatelů
Plány dodavatelů ovlivňují, jaké funkce může váš tým dále vybudovat.
Cena a rozpočet
Komerční podmínky a možnosti nasazení ovlivňují dlouhodobé náklady a rizika.
Riziko a bezpečnost
Firemní pobídky utvářejí výchozí produkty, bezpečný postoj a otevřenost.
Budoucnost ServiceNow a StarCoder
Modely kódu se posouvají směrem k agentním pracovním tokům, kde se nejen automaticky dokončují, ale plánují, spouštějí testy a opravují svůj vlastní výstup. StarCoder2, trénovaný na větší datové sadě Stack v2 vytvořené pomocí Software Heritage, ukazuje na širší jazykové pokrytí a lepší původ dat. Očekávejte pokračující důraz na transparentní školicí data, mechanismy odhlášení a srozumitelnost licencování, protože právní kontrola modelů s naučeným kódem roste, plus užší integrace do podnikových vývojářských platforem.
Real-World Implementace
Podpora automatického dokončování a návrhů dokončování kódu v zásuvných modulech IDE a rozšířeních editoru
Generování standardních funkcí, testů jednotek a dokumentačních řetězců z komentáře v přirozeném jazyce
Překlad nebo refaktorizace kódu mezi programovacími jazyky v rámci podnikové kódové základny
Slouží jako samostatně hostovatelný asistent kódování pro organizace, které nemohou odesílat proprietární kód do uzavřených cloudových API
Rizika a zábradlí
Oznámení o uvedení mohou předstihnout stabilitu v reálných výrobních pracovních postupech.
Změny cen API nebo politik mohou přes noc narušit předpoklady.
Závislost na jediném dodavateli zvyšuje náklady na uzamčení a migraci.
Plán implementace
Vyhodnoťte poskytovatele pomocí vlastních úkolů a datových sad.
Před integrací si přečtěte podmínky ochrany soukromí, zabezpečení a právní podmínky.
Udržujte záložní plán napříč modely nebo dodavateli.
Sledujte poznámky k vydání, aby změny plánu nepřekvapily týmy.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
LAION a otevřené datové sady
Často kladené otázky
What is ServiceNow and StarCoder?
StarCoder je otevřený velký jazykový model pro kód vytvořený společností ServiceNow Research a Hugging Face prostřednictvím projektu BigCode. Záleží na tom, protože to přineslo povolně licencovaného, transparentně vyškoleného asistenta kódování do oboru, kterému dominují uzavřené modely.
Které dvě organizace společně vedly projekt BigCode, který vytvořil StarCoder?
BigCode bylo společné úsilí vedené ServiceNow Research a Hugging Face s cílem vytvořit otevřené, zodpovědně vyvinuté modely kódu.
Jaký je název datové sady povoleně licencovaného zdrojového kódu používaného k trénování StarCoderu?
StarCoder byl trénován na The Stack, velkém souboru povolně licencovaného kódu ve více než 80 jazycích.
Jaká technika školení umožňuje StarCoderu dokončit kód pomocí kontextu na obou stranách kurzoru?
Trénink Fillin-the-Middle změní pořadí dokumentů, takže se model naučí generovat chybějící rozsah daný předchozím a následujícím kontextem.
Jak velký je zhruba vlajkový model StarCoderBase?
StarCoderBase má asi 15,5 miliardy parametrů, skromných podle hraničních standardů, ale silných pro svou velikost na kódové úlohy.
Jakou optimalizaci pozornosti používá StarCoder ke snížení paměti a urychlení vyvozování?
StarCoder využívá vícedotazovou pozornost, sdílí klíčové a hodnotové projekce napříč hlavami, aby omezil paměť a urychlil vyvozování dlouhého kontextu.