PRŮVODCE společnostmi

ServiceNow a StarCoder

The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost ServiceNow a StarCoder
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.

Hluboký ponor

The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.

Real-World Implementace

Podpora automatického dokončování a návrhů dokončování kódu v zásuvných modulech IDE a rozšířeních editoru

Generování standardních funkcí, testů jednotek a dokumentačních řetězců z komentáře v přirozeném jazyce

Překlad nebo refaktorizace kódu mezi programovacími jazyky v rámci podnikové kódové základny

Slouží jako samostatně hostovatelný asistent kódování pro organizace, které nemohou odesílat proprietární kód do uzavřených cloudových API

Budoucnost ServiceNow a StarCoder

Modely kódu se posouvají směrem k agentním pracovním tokům, kde se nejen automaticky dokončují, ale plánují, spouštějí testy a opravují svůj vlastní výstup. StarCoder2, trénovaný na větší datové sadě Stack v2 vytvořené pomocí Software Heritage, ukazuje na širší jazykové pokrytí a lepší původ dat. Očekávejte pokračující důraz na transparentní školicí data, mechanismy odhlášení a srozumitelnost licencování, protože právní kontrola modelů s naučeným kódem roste, plus užší integrace do podnikových vývojářských platforem.

Uvedení do praxe

Proč na tom záleží

  • Strategie dodavatelů. Plány dodavatelů ovlivňují, jaké funkce může váš tým dále vybudovat.
  • Cena a rozpočet. Komerční podmínky a možnosti nasazení ovlivňují dlouhodobé náklady a rizika.
  • Riziko a bezpečnost. Firemní pobídky utvářejí výchozí produkty, bezpečný postoj a otevřenost.

Pozor na

  • Oznámení o uvedení mohou předstihnout stabilitu v reálných výrobních pracovních postupech.
  • Změny cen API nebo politik mohou přes noc narušit předpoklady.
  • Závislost na jediném dodavateli zvyšuje náklady na uzamčení a migraci.

Další kroky

  1. Vyhodnoťte poskytovatele pomocí vlastních úkolů a datových sad.
  2. Před integrací si přečtěte podmínky ochrany soukromí, zabezpečení a právní podmínky.
  3. Udržujte záložní plán napříč modely nebo dodavateli.
  4. Sledujte poznámky k vydání, aby změny plánu nepřekvapily týmy.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the ServiceNow and StarCoder quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je ServiceNow a StarCoder?

The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.

Které dvě organizace společně vedly projekt BigCode, který vytvořil StarCoder?

BigCode bylo společné úsilí vedené ServiceNow Research a Hugging Face s cílem vytvořit otevřené, zodpovědně vyvinuté modely kódu.

Which dataset was used for StarCoderBase pretraining?

StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.

Jaká technika školení umožňuje StarCoderu dokončit kód pomocí kontextu na obou stranách kurzoru?

Trénink Fillin-the-Middle změní pořadí dokumentů, takže se model naučí generovat chybějící rozsah daný předchozím a následujícím kontextem.

Jak velký je zhruba vlajkový model StarCoderBase?

StarCoderBase má asi 15,5 miliardy parametrů, skromných podle hraničních standardů, ale silných pro svou velikost na kódové úlohy.

Jakou optimalizaci pozornosti používá StarCoder ke snížení paměti a urychlení vyvozování?

StarCoder využívá vícedotazovou pozornost, sdílí klíčové a hodnotové projekce napříč hlavami, aby omezil paměť a urychlil vyvozování dlouhého kontextu.