Paralelisme Tensor untuk Kuis Model Besar

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dibagi oleh paralelisme tensor ke seluruh GPU?
   • Matriks bobot dalam satu lapisan
   • Seluruh lapisan ditempatkan pada GPU terpisah
   • Kumpulan data pelatihan yang berbeda
   • Kecepatan pembelajaran pengoptimal
2. Dalam pemisahan MLP gaya Megatron, bagaimana dua matriks bobot dipartisi untuk meminimalkan komunikasi?
   • Keduanya berdasarkan kolom
   • Berdasarkan kolom pertama, berdasarkan baris kedua
   • Keduanya dari segi baris
   • Mereka tidak dipartisi sama sekali
3. Mengapa paralelisme tensor biasanya disimpan dalam satu node?
   • Node tidak dapat menjalankan GPU
   • GPU di node yang berbeda menggunakan matematika yang berbeda
   • Dibutuhkan komunikasi bandwidth tinggi yang sering dan paling baik dilayani oleh NVLink
   • Ini adalah persyaratan hukum
4. Bagaimana mekanisme perhatian biasanya diparalelkan dalam paralelisme tensor?
   • Dengan memberikan setiap GPU perhatian penuh pada komputasi secara berlebihan
   • Dengan melewatkan perhatian sepenuhnya
   • Dengan mengubah perhatian menjadi konvolusi
   • Dengan membagi kepala perhatian, setiap GPU menangani subset
5. Operasi kolektif apa yang biasanya menggabungkan hasil parsial dalam paralelisme tensor?
   • Pengurangan total
   • Salinan file
   • Gabungan basis data
   • Pencarian DNS
6. Bagaimana biasanya paralelisme tensor masuk ke dalam 'paralelisme 3D'?
   • Ini menggantikan semua bentuk paralelisme lainnya
   • Ini dikombinasikan dengan pipeline dan paralelisme data
   • Ini hanya berfungsi tanpa paralelisme lainnya
   • Ini hanya digunakan untuk model gambar
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates