DeepSpeed と Megatron トレーニング スタックに関するクイズ

大規模なモデルのトレーニングの背後にある並列処理手法とメモリの最適化についての理解をテストします。