À suivreGuide suivant
LAION et les ensembles de données ouverts
Entreprises
GUIDE DES ENTREPRISES
ServiceNow et StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Plongée profonde
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Mise en œuvre dans le monde réel
Optimisation des suggestions de saisie semi-automatique et de complétion de code dans les plugins IDE et les extensions d'éditeur
Générer des fonctions passe-partout, des tests unitaires et des docstrings à partir d'un commentaire en langage naturel
Traduire ou refactoriser du code entre des langages de programmation au sein d'une base de code d'entreprise
Servir d'assistant de codage auto-hébergable pour les organisations qui ne peuvent pas envoyer de code propriétaire à des API cloud fermées
L'avenir de ServiceNow et StarCoder
Les modèles de code évoluent vers des flux de travail agents dans lesquels ils non seulement se complètent automatiquement, mais planifient, exécutent des tests et corrigent leur propre sortie. StarCoder2, formé sur le plus grand ensemble de données Stack v2 construit avec Software Heritage, pointe vers une couverture linguistique plus large et une meilleure provenance des données. Attendez-vous à un accent continu sur les données de formation transparentes, les mécanismes de désinscription et la clarté des licences à mesure que l'examen juridique des modèles formés au code se développe, ainsi qu'à une intégration plus étroite dans les plates-formes de développement d'entreprise.
Le mettre en pratique
Pourquoi c'est important
- Stratégie du fournisseur. Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
- Coût et budget. Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
- Risques et sécurité. Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
Attention à
- Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
- La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
- La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Prochaines étapes
- Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
- Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
- Maintenez un plan de secours entre les modèles ou les fournisseurs.
- Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the ServiceNow and StarCoder quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is ServiceNow and StarCoder?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Quelles sont les deux organisations qui ont co-dirigé le projet BigCode qui a produit StarCoder ?
BigCode était un effort collaboratif co-dirigé par ServiceNow Research et Hugging Face pour créer des modèles de code ouverts et développés de manière responsable.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
Quelle technique de formation permet à StarCoder de compléter le code en utilisant le contexte des deux côtés du curseur ?
La formation Fill-in-the-Middle réorganise les documents afin que le modèle apprenne à générer une étendue manquante en fonction du contexte précédent et suivant.
Quelle est la taille approximative du modèle phare StarCoderBase ?
StarCoderBase compte environ 15,5 milliards de paramètres, modestes par rapport aux normes frontières mais solides pour sa taille sur les tâches de code.
Quelle optimisation de l'attention StarCoder utilise-t-il pour réduire la mémoire et accélérer l'inférence ?
StarCoder utilise l'attention multi-requêtes, partageant des projections de clés et de valeurs entre les têtes pour réduire la mémoire et accélérer l'inférence sur un contexte long.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet