ServiceNow et StarCoder
StarCoder est un grand modèle de langage ouvert pour le code, construit par ServiceNow Research et Hugging Face via le projet BigCode.
Aperçu
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Plongée profonde
StarCoder est une famille de modèles de génération de code publiée en mai 2023 par BigCode, une collaboration co-dirigée par ServiceNow Research et Hugging Face. Le produit phare StarCoderBase est un modèle de 15,5 milliards de paramètres entraîné sur environ un billion de jetons tirés de The Stack, un vaste ensemble de données de code source sous licence permissive couvrant plus de 80 langages de programmation. Une caractéristique distinctive clé est sa fenêtre contextuelle de 8 000 jetons et sa formation Fill-in-the-Middle, qui lui permettent de compléter le code en fonction des lignes précédentes et suivantes plutôt que de simplement prédire vers l'avant. BigCode a mis l'accent sur la gouvernance des données : il a publié les données de formation, proposé un outil de désinscription pour les développeurs et publié le modèle sous la licence responsable OpenRAIL-M. StarCoder2, sorti en 2024, a étendu sa couverture à plus de 600 langues.
Aperçu technique
StarCoder utilise un transformateur uniquement décodeur avec une attention multi-requêtes, qui partage les projections de clés et de valeurs entre les têtes d'attention pour réduire l'utilisation de la mémoire et accélérer l'inférence sur de longues longueurs de contexte. Il a été formé avec Fill-in-the-Middle, où les documents sont divisés et réorganisés de manière aléatoire afin que le modèle apprenne à générer une étendue manquante en fonction du code environnant. Cela le rend bien adapté à l'auto-complétion de l'EDI, où le contexte existe des deux côtés du curseur.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir de ServiceNow et StarCoder
Les modèles de code évoluent vers des flux de travail agents dans lesquels ils non seulement se complètent automatiquement, mais planifient, exécutent des tests et corrigent leur propre sortie. StarCoder2, formé sur le plus grand ensemble de données Stack v2 construit avec Software Heritage, pointe vers une couverture linguistique plus large et une meilleure provenance des données. Attendez-vous à un accent continu sur les données de formation transparentes, les mécanismes de désinscription et la clarté des licences à mesure que l'examen juridique des modèles formés au code se développe, ainsi qu'à une intégration plus étroite dans les plates-formes de développement d'entreprise.
Mise en œuvre dans le monde réel
Optimisation des suggestions de saisie semi-automatique et de complétion de code dans les plugins IDE et les extensions d'éditeur
Générer des fonctions passe-partout, des tests unitaires et des docstrings à partir d'un commentaire en langage naturel
Traduire ou refactoriser du code entre des langages de programmation au sein d'une base de code d'entreprise
Servir d'assistant de codage auto-hébergable pour les organisations qui ne peuvent pas envoyer de code propriétaire à des API cloud fermées
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
LAION et les ensembles de données ouverts
Questions fréquemment posées
What is ServiceNow and StarCoder?
StarCoder est un grand modèle de langage ouvert pour le code, construit par ServiceNow Research et Hugging Face via le projet BigCode. C’est important car cela a amené un assistant de codage sous licence permissive et formé de manière transparente dans un domaine dominé par des modèles fermés.
Quelles sont les deux organisations qui ont co-dirigé le projet BigCode qui a produit StarCoder ?
BigCode était un effort collaboratif co-dirigé par ServiceNow Research et Hugging Face pour créer des modèles de code ouverts et développés de manière responsable.
Quel est le nom de l'ensemble de données du code source sous licence permissive utilisé pour entraîner StarCoder ?
StarCoder a été formé sur The Stack, un vaste corpus de code sous licence permissive dans plus de 80 langues.
Quelle technique de formation permet à StarCoder de compléter le code en utilisant le contexte des deux côtés du curseur ?
La formation Fill-in-the-Middle réorganise les documents afin que le modèle apprenne à générer une étendue manquante en fonction du contexte précédent et suivant.
Quelle est la taille approximative du modèle phare StarCoderBase ?
StarCoderBase compte environ 15,5 milliards de paramètres, modestes par rapport aux normes frontières mais solides pour sa taille sur les tâches de code.
Quelle optimisation de l'attention StarCoder utilise-t-il pour réduire la mémoire et accélérer l'inférence ?
StarCoder utilise l'attention multi-requêtes, partageant des projections de clés et de valeurs entre les têtes pour réduire la mémoire et accélérer l'inférence sur un contexte long.