Cuestionario vinculado a una guía · duro Nivel

Prueba de paralelismo tensorial para modelos grandes

Comprueba cómo el paralelismo tensorial fragmenta matrices de capas, combina salidas parciales, divide las cabezas de atención y encaja en el paralelismo multieje.

Rutas de guía relacionadasParalelismo tensorial para modelos grandes
Pregunta 1 de 8

¿En qué se divide el paralelismo tensorial entre las GPU?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿En qué se divide el paralelismo tensorial entre las GPU?
    • Las matrices de peso dentro de una sola capa.
    • Capas enteras colocadas en GPU separadas
    • Diferentes conjuntos de datos de entrenamiento
    • La tasa de aprendizaje del optimizador
  2. En la división MLP estilo Megatron, ¿cómo se dividen las dos matrices de peso para minimizar la comunicación?
    • Ambas columnas
    • Primera columna, segunda fila
    • Ambos por filas
    • No están divididos en absoluto.
  3. ¿Por qué el paralelismo tensorial suele mantenerse dentro de un solo nodo?
    • Los nodos no pueden ejecutar GPU
    • Las GPU en diferentes nodos usan diferentes matemáticas
    • Necesita comunicación frecuente de gran ancho de banda, mejor servida por NVLink
    • Es un requisito legal
  4. ¿Cómo se paraleliza típicamente el mecanismo de atención bajo el paralelismo tensorial?
    • Dando a cada GPU el cálculo de atención total de forma redundante
    • Saltándose la atención por completo
    • Al convertir la atención en una convolución
    • Al dividirse entre cabezas de atención, cada GPU maneja un subconjunto
  5. ¿Qué operación colectiva comúnmente combina resultados parciales en paralelismo tensorial?
    • Un todo reducido
    • una copia de archivo
    • Una unión de base de datos
    • Una búsqueda de DNS
  6. ¿Cómo encaja normalmente el paralelismo tensorial en el 'paralelismo 3D'?
    • Reemplaza todas las demás formas de paralelismo.
    • Se combina con paralelismo de canalización y datos.
    • Sólo funciona sin ningún otro paralelismo.
    • Se utiliza únicamente para modelos de imágenes.
  7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
    • The GPUs each hold a different optimizer
    • The result is a vocabulary probability that must be sorted
    • Each GPU computed a partial contribution to the same output, so the pieces must be summed
    • The model needs to average separate datasets
  8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
    • Tensor parallelism never communicates between GPUs
    • The attention mask must be copied after every token
    • Every GPU trains a separate model
    • Collectives are required repeatedly within layers, so communication latency accumulates