Cuestionario vinculado a una guía · duro Nivel

Prueba de paralelismo de expertos para el servicio del Ministerio de Educación

Pruebe la ubicación de los expertos del MoE, el envío de tokens y el desequilibrio de carga, incluido cómo los expertos seleccionados y la comunicación afectan la inferencia distribuida.

Rutas de guía relacionadasParalelismo experto para el servicio de Moe
Pregunta 1 de 8

¿Qué distribuye el paralelismo experto entre las GPU?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué distribuye el paralelismo experto entre las GPU?
    • Copias del modelo completo de redundancia
    • Solo cabezales de atención individual
    • Diferentes expertos en feed-forward de una capa MoE
    • Capas de la mesa de empotrar
  2. ¿Qué patrón de comunicación es fundamental para el paralelismo de expertos del Ministerio de Educación?
    • Dos intercambios totales (despacho y combinación)
    • Una sola transmisión
    • Sincronización de gradiente punto a punto
    • No se necesita comunicación
  3. ¿Por qué MoE mantiene baja la computación por token a pesar de los enormes parámetros totales?
    • Comprime pesos a 1 bit.
    • Se salta las capas de atención.
    • Los expertos comparten todos sus pesos
    • Solo los mejores k expertos seleccionados corren por token
  4. ¿Qué problema surge porque el enrutamiento depende de los datos?
    • Explosión de gradiente
    • Desequilibrio de carga, donde algunos expertos obtienen muchos más tokens
    • El enrutador no se puede entrenar
    • Los tokens pierden sus incrustaciones de posición.
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. ¿Cómo ocultan los sistemas la latencia de los pasos de todos a todos?
    • En su lugar, ejecutándolo en la CPU
    • Eliminando el paso de combinación
    • Al aumentar la tasa de aprendizaje
    • Superponiendo la comunicación con la computación experta
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory