À suivreGuide suivant
Modèles de code à contexte long Magic AI
Entreprises
GUIDE DES ENTREPRISES
BigScience et le modèle BLOOM
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Plongée profonde
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Mise en œuvre dans le monde réel
Générer et compléter du texte dans des dizaines de langues, y compris celles mal desservies par les modèles commerciaux
Servir de base de recherche ouverte pour étudier les biais, le transfert multilingue et le comportement de mise à l'échelle
Optimisation des variantes spécifiques à une tâche ou suivant des instructions, telles que BLOOMZ pour les communautés non anglophones
Fournir un modèle entièrement documenté aux universitaires qui étudient la provenance des données de formation et les licences responsables en matière d'IA
L'avenir de BigScience et le modèle BLOOM
BigScience a démontré qu’une IA à grande échelle et ouvertement gouvernée est possible, et son modèle a influencé les versions ouvertes ultérieures et la poussée plus large en faveur de la transparence. Les futurs travaux multilingues s’appuieront probablement sur les enseignements tirés de la documentation des données et de la couverture linguistique inclusive, tandis que des modèles plus récents et plus efficaces ont surpassé BLOOM en termes de capacité brute. Son héritage durable est la norme de publication de cartes modèles, de déclarations de données et de licences responsables, ainsi que la preuve que l'informatique publique peut former des modèles à l'échelle frontière.
Le mettre en pratique
Pourquoi c'est important
- Stratégie du fournisseur. Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
- Coût et budget. Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
- Risques et sécurité. Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
Attention à
- Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
- La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
- La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Prochaines étapes
- Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
- Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
- Maintenez un plan de secours entre les modèles ou les fournisseurs.
- Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the BigScience and the BLOOM Model quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que BigScience et le modèle BLOOM ?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Quel était l'objectif principal du modèle BLOOM par rapport aux modèles de taille similaire de l'époque ?
BLOOM a été conçu pour être véritablement multilingue et a été publié ouvertement avec une documentation complète, contrairement aux modèles fermés d'échelle comparable.
Combien de paramètres environ possède BLOOM ?
BLOOM est un modèle de 176 milliards de paramètres, ce qui le place à une échelle similaire à celle de GPT-3.
Pour combien de langues naturelles BLOOM a-t-il été formé ?
Le corpus de formation ROOTS de BLOOM couvrait 46 langages naturels ainsi que 13 langages de programmation.
Quelle organisation a coordonné la collaboration BigScience ?
Hugging Face a coordonné BigScience, un atelier réunissant plus de 1 000 chercheurs bénévoles.
Où BLOOM a-t-il été formé ?
BLOOM a été formé sur le supercalculateur Jean Zay en France, démontrant que l'informatique publique pouvait former un modèle à l'échelle frontière.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet