Kuiz berkaitan panduan · Keras Tahap

Kuiz Paralelisme Model dan Talian Paip

Menjelaskan pembahagian tensor dan saluran paip, pemindahan pengaktifan, jadual kumpulan mikro, gelembung saluran paip dan pertukaran komunikasi.

Laluan panduan yang berkaitanModel Dan Paralelisme Talian Paip
soalan 1 daripada 8

Apakah masalah asas yang boleh diselesaikan oleh model dan saluran paip?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah masalah asas yang boleh diselesaikan oleh model dan saluran paip?
    • Model yang terlalu besar untuk dimuatkan dalam memori GPU tunggal
    • Pemuatan data perlahan dari cakera
    • Kecerunan meletup semasa latihan
    • Terlalu sedikit contoh latihan yang tersedia
  2. Bagaimanakah perpecahan selari tensor (intra-lapisan) berfungsi?
    • Ia memberikan seluruh lapisan kepada GPU yang berbeza
    • Ia membahagikan matematik dalam lapisan, seperti darab matriks, merentas GPU
    • Ia menduplikasi setiap lapisan pada setiap GPU
    • Ia menjalankan setiap lapisan dua kali untuk redundansi
  3. Apakah 'gelembung' dalam paralelisme saluran paip naif?
    • Kebocoran ingatan yang berkembang dari semasa ke semasa
    • Salinan pendua keadaan pengoptimum
    • Masa terbiar apabila GPU hiliran menunggu peringkat huluan untuk menghasilkan pengaktifan
    • Lonjakan dalam nilai kecerunan
  4. Bagaimanakah selari saluran paip mengurangkan gelembung?
    • Dengan menggunakan kadar pembelajaran yang lebih kecil
    • Dengan mengalih keluar beberapa lapisan daripada model
    • Dengan menyimpan pengaktifan pada CPU
    • Dengan membahagikan setiap kumpulan kepada kumpulan mikro yang mengalir melalui peringkat secara berperingkat
  5. Mengapakah selari tensor biasanya disimpan dalam satu nod?
    • Kerana pengurangan semua hasil separa yang kerap mendapat manfaat daripada pautan intra-nod pantas seperti NVLink
    • Kerana ia tidak memerlukan sebarang komunikasi
    • Kerana nod tidak boleh berkongsi data sama sekali
    • Kerana ia hanya menyokong satu GPU
  6. Rangka kerja manakah yang paling terkenal dengan keselarian tensor dalam latihan pengubah?
    • scikit-belajar
    • NVIDIA Megatron-LM
    • OpenCV
    • Panda
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation