Cuestionario vinculado a una guía · duro Nivel

Prueba de paralelismo de secuencia y atención de anillo

Practique las transferencias en bloque de Ring Attention, el softmax en línea y el equilibrio de carga causal, incluidos los límites de superposición de comunicación entre dispositivos.

Rutas de guía relacionadasParalelismo de secuencia y atención de anillo
Pregunta 1 de 8

¿A lo largo de qué dimensión el paralelismo de secuencia divide los datos?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿A lo largo de qué dimensión el paralelismo de secuencia divide los datos?
    • La dimensión oculta/característica
    • La dimensión del token (secuencia)
    • Solo la dimensión del lote
    • El número de capas
  2. ¿Qué pasa Ring Attention entre GPU dispuestas en anillo?
    • Pesos del modelo completo
    • Estados del optimizador
    • logits finales
    • Bloques clave/valor
  3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. ¿Por qué Ring Attention no requiere una sola GPU para almacenar el K/V completo?
    • Descarta la mayoría de las claves.
    • Utiliza un modelo más pequeño.
    • K/V se transmite en bloques y solo se acumulan resultados parciales
    • La atención es aproximada, no exacta.
  5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. ¿Qué complicación introduce el enmascaramiento causal para el equilibrio de carga de Ring Attention?
    • Hace que el modelo sea no diferenciable.
    • Los tokens posteriores atienden a más claves, lo que provoca un trabajo desigual por GPU
    • Elimina la necesidad de un anillo.
    • Duplica el recuento de parámetros.
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • Para reducir el tamaño del vocabulario.
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future