A continuaciónSiguiente guía
Modelos de código de contexto largo de Magic AI
Empresas
GUÍA de empresas
BigScience y el modelo BLOOM
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Buceo profundo
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Implementación en el mundo real
Generar y completar texto en docenas de idiomas, incluidos aquellos desatendidos por los modelos comerciales.
Servir como base de investigación abierta para estudiar el sesgo, la transferencia multilingüe y el comportamiento de escalamiento.
Ajuste de variantes específicas de tareas o de seguimiento de instrucciones, como BLOOMZ para comunidades que no hablan inglés
Proporcionar un modelo completamente documentado para académicos que estudian la procedencia de los datos de capacitación y las licencias de IA responsables.
El futuro de la BigScience y el modelo BLOOM
BigScience demostró que la IA a gran escala y gobernada abiertamente es posible, y su modelo influyó en lanzamientos abiertos posteriores y en el impulso más amplio por la transparencia. El trabajo multilingüe futuro probablemente se basará en sus lecciones de documentación de datos y cobertura lingüística inclusiva, mientras que modelos más nuevos y eficientes han superado a BLOOM en capacidad bruta. Su legado duradero es la norma de publicar tarjetas modelo, declaraciones de datos y licencias responsables, además de pruebas de que la computación pública puede entrenar modelos a escala de frontera.
Poniéndolo en práctica
Por qué es importante
- Estrategia del proveedor. Las hojas de ruta de los proveedores influyen en las funciones que su equipo puede desarrollar a continuación.
- Costo y presupuesto. Los términos comerciales y las opciones de implementación afectan los costos y riesgos a largo plazo.
- Riesgo y seguridad. Los incentivos de las empresas dan forma a los incumplimientos de los productos, la postura de seguridad y la apertura.
cuidado con
- Los anuncios de lanzamiento pueden superar la estabilidad en los flujos de trabajo de producción reales.
- Los precios de API o los cambios de políticas pueden romper los supuestos de la noche a la mañana.
- La dependencia de un único proveedor aumenta los costos de bloqueo y migración.
Próximos pasos
- Evalúe proveedores utilizando sus propias tareas y conjuntos de datos.
- Revise los términos legales, de seguridad y de privacidad antes de la integración.
- Mantenga un plan alternativo entre modelos o proveedores.
- Supervise las notas de la versión para que los cambios en la hoja de ruta no sorprendan a los equipos.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the BigScience and the BLOOM Model quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is BigScience and the BLOOM Model?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
¿Cuál fue el principal objetivo distintivo del modelo BLOOM en comparación con modelos de tamaño similar de su época?
BLOOM fue diseñado para ser genuinamente multilingüe y se lanzó abiertamente con documentación completa, a diferencia de los modelos cerrados de escala comparable.
¿Aproximadamente cuantos parámetros tiene BLOOM?
BLOOM es un modelo de 176 mil millones de parámetros, lo que lo coloca en una escala similar a GPT-3.
¿Para cuántos lenguajes naturales fue entrenado BLOOM?
El corpus de formación ROOTS de BLOOM cubrió 46 lenguajes naturales más 13 lenguajes de programación.
¿Qué organización coordinó la colaboración de BigScience?
Hugging Face coordinó BigScience, un taller de más de 1.000 investigadores voluntarios.
¿Dónde se entrenó a BLOOM?
BLOOM se entrenó en la supercomputadora Jean Zay en Francia, lo que demostró que la computación pública podía entrenar un modelo a escala de frontera.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.