Questionário sobre pilhas de treinamento DeepSpeed ​​e Megatron

Teste sua compreensão das técnicas de paralelismo e otimizações de memória por trás do treinamento de modelos em larga escala.