A continuaciónSiguiente guía
Modelos de código de contexto largo de Magic AI
Empresas
GUÍA de empresas
BigScience y el modelo BLOOM
BigScience fue una colaboración de investigación abierta de un año de duración de más de 1000 investigadores que produjo BLOOM, uno de los primeros modelos de lenguaje grande verdaderamente multilingüe y lanzado abiertamente.
En esta pagina2 minutos de lectura
Descripción general
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Buceo profundo
BigScience fue un taller de investigación de un año de duración, de 2021 a 2022, coordinado por Hugging Face y que reunió a más de 1000 investigadores voluntarios de más de 60 países y 250 instituciones. Su resultado principal, publicado en julio de 2022, fue BLOOM, un modelo de lenguaje autorregresivo de 176 mil millones de parámetros. BLOOM fue deliberadamente multilingüe, entrenado en el corpus ROOTS que cubre 46 lenguajes naturales y 13 lenguajes de programación, con una fuerte representación de lenguajes subrepresentados, como varios idiomas africanos y del sur de Asia. La formación se desarrolló durante varios meses en el superordenador Jean Zay, financiado con fondos públicos, en Francia, utilizando unas 384 GPU. BLOOM se lanzó bajo la Licencia de IA Responsable con documentación completa de sus datos, capacitación y usos previstos, lo que contrasta marcadamente con el desarrollo cerrado de modelos comparables.
Impacto Estratégico
Estrategia del proveedor
Las hojas de ruta de los proveedores influyen en las funciones que su equipo puede desarrollar a continuación.
Costo y presupuesto
Los términos comerciales y las opciones de implementación afectan los costos y riesgos a largo plazo.
Riesgo y seguridad
Los incentivos de las empresas dan forma a los incumplimientos de los productos, la postura de seguridad y la apertura.
El futuro de la BigScience y el modelo BLOOM
BigScience demostró que la IA a gran escala y gobernada abiertamente es posible, y su modelo influyó en lanzamientos abiertos posteriores y en el impulso más amplio por la transparencia. El trabajo multilingüe futuro probablemente se basará en sus lecciones de documentación de datos y cobertura lingüística inclusiva, mientras que modelos más nuevos y eficientes han superado a BLOOM en capacidad bruta. Su legado duradero es la norma de publicar tarjetas modelo, declaraciones de datos y licencias responsables, además de pruebas de que la computación pública puede entrenar modelos a escala de frontera.
Implementación en el mundo real
Generar y completar texto en docenas de idiomas, incluidos aquellos desatendidos por los modelos comerciales.
Servir como base de investigación abierta para estudiar el sesgo, la transferencia multilingüe y el comportamiento de escalamiento.
Ajuste de variantes específicas de tareas o de seguimiento de instrucciones, como BLOOMZ para comunidades que no hablan inglés
Proporcionar un modelo completamente documentado para académicos que estudian la procedencia de los datos de capacitación y las licencias de IA responsables.
Riesgos y barandillas
Los anuncios de lanzamiento pueden superar la estabilidad en los flujos de trabajo de producción reales.
Los precios de API o los cambios de políticas pueden romper los supuestos de la noche a la mañana.
La dependencia de un único proveedor aumenta los costos de bloqueo y migración.
Hoja de ruta de implementación
Evalúe proveedores utilizando sus propias tareas y conjuntos de datos.
Revise los términos legales, de seguridad y de privacidad antes de la integración.
Mantenga un plan alternativo entre modelos o proveedores.
Supervise las notas de la versión para que los cambios en la hoja de ruta no sorprendan a los equipos.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Preguntas frecuentes
What is BigScience and the BLOOM Model?
BigScience fue una colaboración de investigación abierta de un año de duración de más de 1000 investigadores que produjo BLOOM, uno de los primeros modelos de lenguaje grande verdaderamente multilingüe y lanzado abiertamente. Importa como un hito en la IA transparente e impulsada por la comunidad construida fuera de las grandes tecnologías.
¿Cuál fue el principal objetivo distintivo del modelo BLOOM en comparación con modelos de tamaño similar de su época?
BLOOM fue diseñado para ser genuinamente multilingüe y se lanzó abiertamente con documentación completa, a diferencia de los modelos cerrados de escala comparable.
¿Aproximadamente cuantos parámetros tiene BLOOM?
BLOOM es un modelo de 176 mil millones de parámetros, lo que lo coloca en una escala similar a GPT-3.
¿Para cuántos lenguajes naturales fue entrenado BLOOM?
El corpus de formación ROOTS de BLOOM cubrió 46 lenguajes naturales más 13 lenguajes de programación.
¿Qué organización coordinó la colaboración de BigScience?
Hugging Face coordinó BigScience, un taller de más de 1.000 investigadores voluntarios.
¿Dónde se entrenó a BLOOM?
BLOOM se entrenó en la supercomputadora Jean Zay en Francia, lo que demostró que la computación pública podía entrenar un modelo a escala de frontera.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.