DalšíDalší průvodce
LAION a otevřené datové sady
Společnosti
PRŮVODCE společnostmi
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Podpora automatického dokončování a návrhů dokončování kódu v zásuvných modulech IDE a rozšířeních editoru
Generování standardních funkcí, testů jednotek a dokumentačních řetězců z komentáře v přirozeném jazyce
Překlad nebo refaktorizace kódu mezi programovacími jazyky v rámci podnikové kódové základny
Slouží jako samostatně hostovatelný asistent kódování pro organizace, které nemohou odesílat proprietární kód do uzavřených cloudových API
Modely kódu se posouvají směrem k agentním pracovním tokům, kde se nejen automaticky dokončují, ale plánují, spouštějí testy a opravují svůj vlastní výstup. StarCoder2, trénovaný na větší datové sadě Stack v2 vytvořené pomocí Software Heritage, ukazuje na širší jazykové pokrytí a lepší původ dat. Očekávejte pokračující důraz na transparentní školicí data, mechanismy odhlášení a srozumitelnost licencování, protože právní kontrola modelů s naučeným kódem roste, plus užší integrace do podnikových vývojářských platforem.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
BigCode bylo společné úsilí vedené ServiceNow Research a Hugging Face s cílem vytvořit otevřené, zodpovědně vyvinuté modely kódu.
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
Trénink Fillin-the-Middle změní pořadí dokumentů, takže se model naučí generovat chybějící rozsah daný předchozím a následujícím kontextem.
StarCoderBase má asi 15,5 miliardy parametrů, skromných podle hraničních standardů, ale silných pro svou velikost na kódové úlohy.
StarCoder využívá vícedotazovou pozornost, sdílí klíčové a hodnotové projekce napříč hlavami, aby omezil paměť a urychlil vyvozování dlouhého kontextu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
LAION a otevřené datové sady
Společnosti