Cuestionario vinculado a una guía · Medio Nivel
BigScience y el cuestionario del modelo BLOOM
Revise el corpus ROOTS multilingüe de BLOOM, la versión de acceso abierto, la arquitectura de solo decodificador y los idiomas representados en la capacitación.
Pregunta 1 de 8
¿Cuál fue el principal objetivo distintivo del modelo BLOOM en comparación con modelos de tamaño similar de su época?
Vista previa de cada pregunta8 preguntas
Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.
- ¿Cuál fue el principal objetivo distintivo del modelo BLOOM en comparación con modelos de tamaño similar de su época?
- Ser multilingüe y abierto
- Ser el más rápido en inferencia
- Siendo el modelo más pequeño posible
- Estar capacitado solo en código de programación.
- ¿Aproximadamente cuantos parámetros tiene BLOOM?
- 7 mil millones
- 176 mil millones
- 70 mil millones
- 540 mil millones
- ¿Para cuántos lenguajes naturales fue entrenado BLOOM?
- 1
- 100
- 46
- 600
- ¿Qué organización coordinó la colaboración de BigScience?
- DeepMind
- Stability AI
- Anthropic
- Hugging Face
- ¿Dónde se entrenó a BLOOM?
- Sobre el superordenador Jean Zay, financiado con fondos públicos en Francia
- En GPU de nube privada alquiladas a una startup
- En un grupo de portátiles universitarios
- En los pods de TPU de Google
- How does BLOOM’s ALiBi mechanism encode relative position?
- It removes attention and uses a convolutional decoder
- It adds distance-dependent biases to attention scores
- It inserts learned position vectors into every token embedding
- It stores position as a separate image channel
- How many programming languages were represented in BLOOM’s ROOTS corpus?
- 3 programming languages
- 46 programming languages
- 13 programming languages
- 130 programming languages
- What model architecture does the BLOOM paper describe?
- Un clasificador de imágenes convolucional
- Un reconocedor de voz recurrente
- A diffusion model for audio
- A decoder-only Transformer