ServiceNow і StarCoder
StarCoder — це відкрита велика мовна модель для коду, створена ServiceNow Research і Hugging Face через проект BigCode.
Огляд
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Глибоке занурення
StarCoder — це сімейство моделей генерації коду, випущених у травні 2023 року компанією BigCode, спільною організацією ServiceNow Research і Hugging Face. Флагман StarCoderBase — це модель із 15,5 мільярдами параметрів, навчена приблизно на одному трильйоні токенів, отриманих із The Stack, великого набору даних вихідного коду з дозволеною ліцензією, що охоплює понад 80 мов програмування. Ключовою відмітною особливістю є його контекстне вікно з 8000 маркерів і навчання Fill-in-the-Middle, що дозволяє завершувати код, враховуючи як попередні, так і наступні рядки, а не лише прогнозувати вперед. BigCode зробив акцент на керуванні даними: він опублікував навчальні дані, запропонував інструмент відмови для розробників і випустив модель під відповідальною ліцензією OpenRAIL-M. StarCoder2, випущений у 2024 році, розширив покриття до понад 600 мов.
Технічне розуміння
StarCoder використовує трансформатор лише декодера з багатозапитовою увагою, який розподіляє проекції ключів і значень між головками уваги, щоб скоротити використання пам’яті та пришвидшити висновок у великих довжинах контексту. Її навчили за допомогою Fill-in-the-Middle, де документи випадковим чином розбиваються та змінюються, щоб модель навчилася генерувати відсутній діапазон залежно від навколишнього коду. Це робить його добре придатним для автозаповнення IDE, де контекст існує по обидва боки від курсора.
Стратегічний вплив
Стратегія постачальника
Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі.
Вартість і бюджет
Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик.
Ризики та безпека
Стимули компанії формують стандарти продукту, безпеку та відкритість.
Майбутнє ServiceNow і StarCoder
Моделі коду рухаються до агентських робочих процесів, де вони не лише виконують автозаповнення, але планують, запускають тести та виправляють власні результати. StarCoder2, навчений на більшому наборі даних Stack v2, створеному за допомогою Software Heritage, вказує на ширше мовне охоплення та краще походження даних. Очікуйте постійного акцентування уваги на прозорих навчальних даних, механізмах відмови та чіткості ліцензування, оскільки юридичний контроль за моделями, навченими кодом, зростає, а також тіснішій інтеграції в корпоративні платформи розробників.
Реалізація в реальному світі
Підтримка автозавершення та пропозицій щодо завершення коду в плагінах IDE та розширеннях редактора
Створення шаблонних функцій, модульних тестів і рядків документації з коментаря природною мовою
Переклад або рефакторинг коду між мовами програмування в корпоративній кодовій базі
Служить самостійним помічником кодування для організацій, які не можуть надсилати власний код до закритих хмарних API
Ризики та огорожі
Оголошення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва.
Зміни в ціноутворенні API або в політиці можуть миттєво порушити припущення.
Залежність від одного постачальника збільшує витрати на блокування та міграцію.
Дорожня карта впровадження
Оцініть постачальників за допомогою власних завдань і наборів даних.
Перегляньте умови конфіденційності, безпеки та юридичні умови перед інтеграцією.
Підтримуйте запасний план для різних моделей або постачальників.
Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
LAION і відкриті набори даних
Часті запитання
What is ServiceNow and StarCoder?
StarCoder — це відкрита велика мовна модель для коду, створена ServiceNow Research і Hugging Face через проект BigCode. Це має значення, тому що він привів дозволено ліцензованого, прозоро навченого помічника кодування в поле, де домінують закриті моделі.
Які дві організації спільно очолили проект BigCode, що створив StarCoder?
BigCode був спільним зусиллям під керівництвом ServiceNow Research і Hugging Face для створення відкритих, відповідально розроблених моделей коду.
Як називається набір даних вихідного коду з дозволеною ліцензією, який використовується для навчання StarCoder?
StarCoder пройшов навчання на The Stack, великому корпусі дозволеного ліцензованого коду понад 80 мовами.
Яка методика навчання дозволяє StarCoder завершувати код, використовуючи контекст з обох боків курсору?
Навчання Fill-in-the-Middle змінює порядок документів, щоб модель навчилася генерувати відсутній діапазон, враховуючи попередній і наступний контекст.
Наскільки приблизно розміром є флагманська модель StarCoderBase?
StarCoderBase має близько 15,5 мільярдів параметрів, скромних за передовими стандартами, але сильних за своїм розміром для кодових завдань.
Яку оптимізацію уваги використовує StarCoder для зменшення обсягу пам’яті та прискорення логічного висновку?
StarCoder використовує багатозапитову увагу, розподіляючи проекції ключів і значень між головами, щоб скоротити пам’ять і прискорити висновок у довгому контексті.