ServiceNow и StarCoder
StarCoder — это открытая модель большого языка для кода, созданная компаниями ServiceNow Research и Hugging Face в рамках проекта BigCode.
Обзор
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Глубокое погружение
StarCoder — это семейство моделей генерации кода, выпущенное в мае 2023 года компанией BigCode, совместной работой ServiceNow Research и Hugging Face. Флагманский StarCoderBase — это модель с 15,5 миллиардами параметров, обученная примерно на одном триллионе токенов, взятых из The Stack, большого набора данных лицензированного исходного кода, охватывающего более 80 языков программирования. Ключевой отличительной особенностью является контекстное окно с 8000 токенами и обучение «Заполнение посередине», позволяющее завершать код с учетом как предшествующих, так и последующих строк, а не только прогнозировать вперед. BigCode сделал упор на управление данными: он опубликовал данные обучения, предложил разработчикам инструмент отказа и выпустил модель под ответственной лицензией OpenRAIL-M. StarCoder2, выпущенный в 2024 году, расширил охват до более чем 600 языков.
Техническая информация
StarCoder использует преобразователь, предназначенный только для декодера, с возможностью обработки нескольких запросов, который распределяет проекции ключей и значений по головкам внимания, чтобы сократить использование памяти и ускорить вывод при большой длине контекста. Он был обучен с помощью метода «Заполнить посередине», где документы случайным образом разбиваются и переупорядочиваются, поэтому модель учится генерировать недостающий диапазон в зависимости от окружающего кода. Это делает его хорошо подходящим для автодополнения IDE, где контекст существует по обе стороны курсора.
Стратегическое воздействие
Стратегия поставщика
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Стоимость и бюджет
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Риски и безопасность
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Будущее ServiceNow и StarCoder
Модели кода переходят к агентным рабочим процессам, где они не только автозаполняются, но и планируют, запускают тесты и исправляют собственные выходные данные. StarCoder2, обученный на более крупном наборе данных Stack v2, созданном с помощью Software Heritage, указывает на более широкий языковой охват и лучшее происхождение данных. Ожидайте дальнейшего акцента на прозрачные данные обучения, механизмы отказа и ясность лицензирования по мере роста юридического контроля над моделями, обученными на коде, а также более тесную интеграцию с платформами корпоративных разработчиков.
Реальная реализация
Поддержка предложений автозаполнения и завершения кода внутри плагинов IDE и расширений редактора.
Генерация шаблонных функций, модульных тестов и строк документации на основе комментариев на естественном языке.
Перевод или рефакторинг кода между языками программирования в корпоративной кодовой базе.
Работа в качестве автономного помощника по кодированию для организаций, которые не могут отправлять собственный код в закрытые облачные API.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Поддерживайте резервный план для разных моделей или поставщиков.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
LAION и открытые наборы данных
Часто задаваемые вопросы
What is ServiceNow and StarCoder?
StarCoder — это открытая модель большого языка для кода, созданная компаниями ServiceNow Research и Hugging Face в рамках проекта BigCode. Это важно, потому что оно привело к появлению лицензированного и прозрачно обученного помощника по программированию в области, где доминируют закрытые модели.
Какие две организации совместно руководили проектом BigCode, в результате которого был создан StarCoder?
BigCode — это совместная работа компаний ServiceNow Research и Hugging Face, направленная на создание открытых, ответственно разработанных моделей кода.
Как называется набор данных исходного кода с разрешительной лицензией, используемый для обучения StarCoder?
StarCoder прошел обучение на The Stack — большом корпусе кода, лицензируемого более чем на 80 языках.
Какая методика обучения позволяет StarCoder завершать код, используя контекст по обе стороны курсора?
Обучение «Заполнение середины» изменяет порядок документов, чтобы модель научилась генерировать недостающий диапазон с учетом предыдущего и последующего контекста.
Насколько велика примерно флагманская модель StarCoderBase?
StarCoderBase имеет около 15,5 миллиардов параметров, что скромно по передовым стандартам, но достаточно эффективно для задач по написанию кода.
Какую оптимизацию внимания использует StarCoder для уменьшения объема памяти и ускорения вывода?
StarCoder использует внимание к нескольким запросам, разделяя проекции ключей и значений между головами, чтобы сократить объем памяти и ускорить вывод в длинном контексте.