Prueba de mezcla de expertos

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. En una capa de Mezcla de Expertos, ¿qué decide qué expertos procesan un token determinado?
   • Un pequeño enrutador aprendido (red de puerta de enlace) que califica a los expertos
   • Una tabla de búsqueda fija configurada antes del entrenamiento.
   • La duración del mensaje del usuario.
   • Un sorteo aleatorio en cada paso.
2. ¿Por qué un modelo MoE puede tener muchos más parámetros totales que un modelo denso sin un aumento equivalente en el costo por token?
   • Comprime parámetros en un único peso compartido.
   • Se salta por completo las capas de atención.
   • Solo se activan unos pocos expertos (top-k) para cada token
   • Ejecuta a todos los expertos pero promedia los resultados.
3. ¿Qué problema aborda una pérdida de equilibrio de carga (auxiliar) durante el entrenamiento del MoE?
   • Los tokens son demasiado largos para la ventana de contexto
   • El enrutador abusa de algunos expertos y mata de hambre al resto
   • Degradados que desaparecen en las cabezas de atención.
   • Sobreajuste al conjunto de validación
4. Mixtral 8x7B activa 2 de sus 8 expertos por token. ¿Qué implica esto sobre su cómputo versus su tamaño?
   • Utiliza el cálculo de los 8 expertos en cada token.
   • Tiene menos parámetros totales que un modelo denso 7B.
   • No puede ejecutarse en una GPU en absoluto
   • Su cálculo activo por token es mucho menor de lo que sugiere su recuento total de parámetros.
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters