Aperçu
BigScience était une collaboration de recherche ouverte d'un an rassemblant plus de 1 000 chercheurs qui ont produit BLOOM, l'un des premiers grands modèles de langage véritablement multilingues et ouvertement publiés. Il s’agit d’un jalon dans l’IA transparente et axée sur la communauté, construite en dehors des grandes technologies.
BigScience et le modèle BLOOM sont mieux compris dans le contexte de la stratégie, de l'accès au modèle, des décisions de plateforme et des partenariats écosystémiques.
Plongée profonde
BigScience était un atelier de recherche d'un an se déroulant de 2021 à 2022, coordonné par Hugging Face et réunissant plus de 1 000 chercheurs bénévoles de plus de 60 pays et 250 institutions. Son principal résultat, publié en juillet 2022, était BLOOM, un modèle de langage autorégressif de 176 milliards de paramètres. BLOOM était volontairement multilingue, formé sur le corpus ROOTS couvrant 46 langues naturelles et 13 langages de programmation, avec une forte représentation de langues sous-représentées comme plusieurs langues africaines et sud-asiatiques. La formation s'est déroulée pendant plusieurs mois sur le supercalculateur public Jean Zay en France, utilisant environ 384 GPU. BLOOM a été publié sous la licence Responsible AI avec une documentation complète de ses données, de sa formation et de ses utilisations prévues, contrastant fortement avec le développement fermé de modèles comparables.
Aperçu technique
BLOOM est un transformateur uniquement décodeur d'échelle similaire à GPT-3, utilisant des intégrations de position ALiBi au lieu de vecteurs de position appris, ce qui l'aide à extrapoler à des séquences plus longues que celles observées lors de la formation. Il applique également une normalisation de couche d'intégration qui a amélioré la stabilité de la formation à grande échelle. Le corpus multilingue ROOTS a été soigneusement assemblé et documenté afin que la combinaison de langues et les sources de données soient transparentes et vérifiables, une rupture délibérée avec les ensembles de données opaques récupérés.
Maîtriser BigScience et le modèle BLOOM
BigScience était une collaboration de recherche ouverte d'un an rassemblant plus de 1 000 chercheurs qui ont produit BLOOM, l'un des premiers grands modèles de langage véritablement multilingues et ouvertement publiés. Il s’agit d’un jalon dans l’IA transparente et axée sur la communauté, construite en dehors des grandes technologies. BigScience et le modèle BLOOM sont mieux compris dans le contexte de la stratégie, de l'accès au modèle, des décisions de plateforme et des partenariats écosystémiques. Pour acquérir une compréhension approfondie, traitez BigScience et le modèle BLOOM comme un modèle opérationnel et non comme une fonctionnalité unique : définissez les résultats souhaités, clarifiez les hypothèses et séparez ce que le système peut faire de manière fiable de ce qui nécessite encore un jugement d'expert.
En pratique, des équipes solides utilisant BigScience et le modèle BLOOM évaluent la stratégie du fournisseur, la fiabilité de la feuille de route et le risque de verrouillage avant de s'engager. Ils documentent des critères de réussite explicites, testent par rapport à des données et des flux de travail réalistes et itèrent en fonction des modèles d'échec observés plutôt que des victoires de référence ponctuelles. C’est là que la compréhension théorique se transforme en capacité durable au niveau des produits, des politiques et des opérations.
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer. Dans le même temps, les annonces de lancement peuvent dépasser la stabilité des flux de production réels. L'approche la plus résiliente consiste à combiner vitesse d'expérimentation et discipline de gouvernance : exécuter des projets pilotes, capturer des preuves, publier des journaux de décision et mettre à jour en permanence les protections à mesure que le comportement du modèle, les attentes des utilisateurs et les exigences réglementaires évoluent.
Impact stratégique
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer. Dans les déploiements de haute qualité, cela se traduit par des règles de fonctionnement mesurables, des limites de propriété et des rituels d'examen récurrents afin que les équipes puissent accroître la confiance au lieu de l'ambiguïté.
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme. Dans les déploiements de haute qualité, cela se traduit par des règles de fonctionnement mesurables, des limites de propriété et des rituels d'examen récurrents afin que les équipes puissent accroître la confiance au lieu de l'ambiguïté.
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture. Dans les déploiements de haute qualité, cela se traduit par des règles de fonctionnement mesurables, des limites de propriété et des rituels d'examen récurrents afin que les équipes puissent accroître la confiance au lieu de l'ambiguïté.
Mise en œuvre dans le monde réel
Générer et compléter du texte dans des dizaines de langues, y compris celles mal desservies par les modèles commerciaux
Servir de base de recherche ouverte pour étudier les biais, le transfert multilingue et le comportement de mise à l'échelle
Optimisation des variantes spécifiques à une tâche ou suivant des instructions, telles que BLOOMZ pour les communautés non anglophones
Fournir un modèle entièrement documenté aux universitaires qui étudient la provenance des données de formation et les licences responsables en matière d'IA
Modèles de mise en œuvre
BigScience et le modèle BLOOM en pratique
Générer et compléter du texte dans des dizaines de langues, y compris celles mal desservies par les modèles commerciaux.
Générer et compléter du texte dans des dizaines de langues, y compris celles mal desservies par les modèles commerciaux. Les équipes obtiennent généralement de meilleurs résultats lorsqu'elles définissent des seuils de qualité à l'avance, maintiennent un chemin de remontée humain pour les cas extrêmes et suivent à la fois les gains de productivité et les coûts d'erreur au fil du temps.
BigScience et le modèle BLOOM en pratique
Servir de base de recherche ouverte pour étudier les biais, le transfert multilingue et le comportement de mise à l'échelle.
Servir de base de recherche ouverte pour étudier les biais, le transfert multilingue et le comportement de mise à l'échelle. Les équipes obtiennent généralement de meilleurs résultats lorsqu'elles définissent des seuils de qualité à l'avance, maintiennent un chemin d'escalade humain pour les cas extrêmes et suivent à la fois les gains de productivité et les coûts d'erreur au fil du temps.
BigScience et le modèle BLOOM en pratique
Affinement des variantes spécifiques à une tâche ou suivant des instructions, telles que BLOOMZ pour les communautés non anglophones.
Ajustement précis des variantes spécifiques à une tâche ou au suivi d'instructions, telles que BLOOMZ pour les communautés non anglophones. Les équipes obtiennent généralement de meilleurs résultats lorsqu'elles définissent des seuils de qualité à l'avance, maintiennent un chemin d'escalade humain pour les cas extrêmes et suivent à la fois les gains de productivité et les coûts d'erreur au fil du temps.
BigScience et le modèle BLOOM en pratique
Fournir un modèle entièrement documenté pour les universitaires qui étudient la provenance des données de formation et les licences responsables en matière d'IA.
Fournir un modèle entièrement documenté aux universitaires qui étudient la provenance des données de formation et les licences responsables de l'IA. Les équipes obtiennent généralement de meilleurs résultats lorsqu'elles définissent des seuils de qualité à l'avance, maintiennent un chemin de remontée humaine pour les cas extrêmes et suivent à la fois les gains de productivité et les coûts d'erreur au fil du temps.
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données. Traitez chaque étape comme une porte de preuves : si les critères ne sont pas remplis, suspendez le déploiement, comblez l'écart, puis étendez l'utilisation.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration. Traitez chaque étape comme une porte de preuves : si les critères ne sont pas remplis, suspendez le déploiement, comblez l'écart, puis étendez l'utilisation.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Maintenez un plan de secours entre les modèles ou les fournisseurs. Traitez chaque étape comme une porte de preuves : si les critères ne sont pas remplis, suspendez le déploiement, comblez l'écart, puis étendez l'utilisation.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes. Traitez chaque étape comme une porte de preuves : si les critères ne sont pas remplis, suspendez le déploiement, comblez l'écart, puis étendez l'utilisation.