СледваСледващо ръководство
LAION и отворени набори от данни
Фирми
Фирми РЪКОВОДСТВО
ServiceNow и StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Дълбоко гмуркане
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Внедряване в реалния свят
Захранване на предложения за автоматично довършване и довършване на код в IDE добавки и разширения за редактори
Генериране на шаблонни функции, модулни тестове и документни низове от коментар на естествен език
Превод или рефакторинг на код между езици за програмиране в корпоративна кодова база
Служи като самостоятелен помощник за кодиране за организации, които не могат да изпращат собствен код до затворени облачни API
Бъдещето на ServiceNow и StarCoder
Кодовите модели се движат към агентни работни потоци, където те не само извършват автоматично попълване, но планират, изпълняват тестове и коригират своя собствен изход. StarCoder2, обучен на по-големия набор от данни Stack v2, изграден със софтуерно наследство, насочва към по-широко езиково покритие и по-добър произход на данните. Очаквайте продължаващ акцент върху прозрачните данни за обучение, механизмите за отказ и яснотата на лицензирането, тъй като законовият контрол на обучените с код модели нараства, плюс по-тясна интеграция в корпоративни платформи за разработчици.
Прилагайки го на практика
Защо има значение
- Стратегия на доставчика. Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
- Разходи и бюджет. Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
- Риск и безопасност. Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Внимавайте за
- Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
- Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
- Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Следващи стъпки
- Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
- Прегледайте поверителността, сигурността и правните условия преди интегриране.
- Поддържайте резервен план за модели или доставчици.
- Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the ServiceNow and StarCoder quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is ServiceNow and StarCoder?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Кои две организации ръководиха съвместно проекта BigCode, който създаде StarCoder?
BigCode беше съвместно усилие, ръководено съвместно от ServiceNow Research и Hugging Face за изграждане на отворени, отговорно разработени кодови модели.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
Каква техника на обучение позволява на StarCoder да завърши кода, използвайки контекст от двете страни на курсора?
Обучението Fill-in-the-Middle пренарежда документите, така че моделът да се научи да генерира липсващ интервал, даден предходен и следващ контекст.
Приблизително колко голям е водещият модел StarCoderBase?
StarCoderBase има около 15,5 милиарда параметри, скромни по граничните стандарти, но силни за размера си при кодови задачи.
Коя оптимизация на вниманието използва StarCoder, за да намали паметта и да ускори изводите?
StarCoder използва внимание на множество заявки, споделяйки ключови и стойностни проекции между главите, за да намали паметта и да ускори извода за дълъг контекст.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема