Cuestionario vinculado a una guía · duro Nivel

Prueba de modelos mixtos y dispersos

Revise el enrutamiento Mixtral, la activación experta, los parámetros totales versus activos y las compensaciones prácticas de memoria e implementación de modelos dispersos.

Rutas de guía relacionadasModelos mixtos y dispersos
Pregunta 1 de 8

En Mixtral 8x7B, ¿cuántos expertos procesan cada token individual?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. En Mixtral 8x7B, ¿cuántos expertos procesan cada token individual?
    • dos expertos
    • Los ocho expertos
    • Exactamente un experto
    • Un número aleatorio cada vez
  2. ¿Qué componente decide a qué expertos se envía un token?
    • El tokenizador
    • El enrutador (red de puerta de enlace)
    • La capa de atención
    • La mesa de empotrar
  3. Aunque Mixtral 8x7B tiene alrededor de 47 mil millones de parámetros en total, ¿aproximadamente cuántos están activos por token?
    • Alrededor de 47 mil millones
    • Alrededor de 7 mil millones
    • Alrededor de 13 mil millones
    • Alrededor de 70 mil millones
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. ¿Bajo qué licencia Mistral AI lanzó Mixtral, impulsando la adopción abierta?
    • apache 2.0
    • Propietario, solo de código cerrado
    • GPLv3
    • Creative Commons No Comercial
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • Elimina la necesidad de datos de entrenamiento.
    • Supervised fine-tuning and direct preference optimization (DPO)
    • Elimina por completo la necesidad de GPU
    • Garantiza que los modelos nunca cometan errores.
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • dos expertos
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish