ServiceNow и StarCoder
StarCoder е отворен голям езиков модел за код, създаден от ServiceNow Research и Hugging Face чрез проекта BigCode.
Преглед
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Дълбоко гмуркане
StarCoder е семейство от модели за генериране на код, пуснати през май 2023 г. от BigCode, сътрудничество, ръководено съвместно от ServiceNow Research и Hugging Face. Водещият StarCoderBase е модел с 15,5 милиарда параметъра, обучен на приблизително един трилион токени, извлечени от The Stack, голям набор от данни с разрешително лицензиран изходен код, обхващащ повече от 80 езика за програмиране. Ключова отличителна характеристика е контекстният прозорец с 8000 токена и обучението Fill-in-the-Middle, което му позволява да завърши кода, даден както на предходните, така и на следващите редове, вместо само да предвижда напред. BigCode наблегна на управлението на данните: публикува данните за обучението, предложи инструмент за отказ за разработчиците и пусна модела под отговорния лиценз OpenRAIL-M. StarCoder2, издаден през 2024 г., разшири покритието до над 600 езика.
Техническа информация
StarCoder използва трансформатор само за декодер с внимание на множество заявки, който споделя ключови и стойностни проекции между главите на вниманието, за да намали използването на паметта и да ускори изводите при дълги контекстни дължини. Той беше обучен с Fill-in-the-Middle, където документите се разделят на случаен принцип и пренареждат, така че моделът да се научи да генерира липсващ интервал, обусловен от заобикалящия код. Това го прави много подходящ за автоматично довършване на IDE, където контекстът съществува от двете страни на курсора.
Стратегическо въздействие
Vendor strategy
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Cost and budget
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Risk and safety
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Бъдещето на ServiceNow и StarCoder
Кодовите модели се движат към агентни работни потоци, където те не само извършват автоматично попълване, но планират, изпълняват тестове и коригират своя собствен изход. StarCoder2, обучен на по-големия набор от данни Stack v2, изграден със софтуерно наследство, насочва към по-широко езиково покритие и по-добър произход на данните. Очаквайте продължаващ акцент върху прозрачните данни за обучение, механизмите за отказ и яснотата на лицензирането, тъй като законовият контрол на обучените с код модели нараства, плюс по-тясна интеграция в корпоративни платформи за разработчици.
Внедряване в реалния свят
Захранване на предложения за автоматично довършване и довършване на код в IDE добавки и разширения за редактори
Генериране на шаблонни функции, модулни тестове и документни низове от коментар на естествен език
Превод или рефакторинг на код между езици за програмиране в корпоративна кодова база
Служи като самостоятелен помощник за кодиране за организации, които не могат да изпращат собствен код до затворени облачни API
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Поддържайте резервен план за модели или доставчици.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
LAION и отворени набори от данни
Frequently asked questions
What is ServiceNow and StarCoder?
StarCoder е отворен голям езиков модел за код, създаден от ServiceNow Research и Hugging Face чрез проекта BigCode. Има значение, защото донесе разрешително лицензиран, прозрачно обучен асистент за кодиране в поле, доминирано от затворени модели.
Кои две организации ръководиха съвместно проекта BigCode, който създаде StarCoder?
BigCode беше съвместно усилие, ръководено съвместно от ServiceNow Research и Hugging Face за изграждане на отворени, отговорно разработени кодови модели.
Какво е името на набора от данни на разрешително лицензиран изходен код, използван за обучение на StarCoder?
StarCoder беше обучен на The Stack, голям корпус от разрешително лицензиран код на повече от 80 езика.
Каква техника на обучение позволява на StarCoder да завърши кода, използвайки контекст от двете страни на курсора?
Обучението Fill-in-the-Middle пренарежда документите, така че моделът да се научи да генерира липсващ интервал, даден предходен и следващ контекст.
Приблизително колко голям е водещият модел StarCoderBase?
StarCoderBase има около 15,5 милиарда параметри, скромни по граничните стандарти, но силни за размера си при кодови задачи.
Коя оптимизация на вниманието използва StarCoder, за да намали паметта и да ускори изводите?
StarCoder използва внимание на множество заявки, споделяйки ключови и стойностни проекции между главите, за да намали паметта и да ускори извода за дълъг контекст.