Kuis Paralelisme Model dan Pipeline

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Masalah mendasar apa yang dipecahkan oleh model dan paralelisme saluran pipa?
   • Model yang terlalu besar untuk ditampung dalam satu memori GPU
   • Pemuatan data lambat dari disk
   • Gradien meledak selama pelatihan
   • Terlalu sedikit contoh pelatihan yang tersedia
2. Bagaimana cara kerja pemisahan paralelisme tensor (intra-layer)?
   • Ini menetapkan seluruh lapisan ke GPU yang berbeda
   • Ini membagi matematika di dalam sebuah lapisan, seperti perkalian matriks, di seluruh GPU
   • Ini menduplikasi setiap lapisan di setiap GPU
   • Ini menjalankan setiap lapisan dua kali untuk redundansi
3. Apa yang dimaksud dengan 'gelembung' dalam paralelisme saluran pipa yang naif?
   • Kebocoran memori yang bertambah seiring waktu
   • Salinan duplikat status pengoptimal
   • Waktu menganggur ketika GPU hilir menunggu tahapan hulu untuk menghasilkan aktivasi
   • Lonjakan nilai gradien
4. Bagaimana paralelisme saluran pipa mengurangi gelembung?
   • Dengan menggunakan learning rate yang lebih kecil
   • Dengan menghapus beberapa lapisan dari model
   • Dengan menyimpan aktivasi pada CPU
   • Dengan membagi setiap batch menjadi batch mikro yang mengalir melalui tahapan secara terhuyung-huyung
5. Mengapa paralelisme tensor biasanya disimpan dalam satu node?
   • Karena seringnya pengurangan semua hasil parsial mendapat manfaat dari tautan intra-node yang cepat seperti NVLink
   • Karena tidak memerlukan komunikasi apa pun
   • Karena node tidak bisa berbagi data sama sekali
   • Karena hanya mendukung satu GPU
6. Kerangka kerja mana yang paling terkenal untuk paralelisme tensor dalam pelatihan transformator?
   • scikit-belajar
   • NVIDIA Megatron-LM
   • OpenCV
   • Panda
7. What data must move between stages in pipeline parallelism during a forward pass?
   • The entire training dataset after each layer
   • Only the optimizer’s learning rate
   • Activation tensors produced by one stage and consumed by the next
   • No data, because stages are independent models
8. Why does tensor parallelism often require fast communication within its group?
   • It assigns each GPU a separate dataset and never synchronizes
   • It communicates only once when the model is loaded
   • It uses no cross-device operations
   • Devices exchange partial results or activations within layers during computation