Kuiz berkaitan panduan · Keras Tahap

Tensor Parallelism untuk Kuiz Model Besar

Menyemak cara keselarian tensor memecah matriks lapisan, menggabungkan output separa, membahagikan kepala perhatian dan sesuai dengan keselarian berbilang paksi.

Laluan panduan yang berkaitanTensor Parallelism Untuk Model Besar
soalan 1 daripada 8

Apakah selari tensor berpecah merentas GPU?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah selari tensor berpecah merentas GPU?
    • Matriks berat dalam satu lapisan
    • Seluruh lapisan diletakkan pada GPU berasingan
    • Set data latihan yang berbeza
    • Kadar pembelajaran pengoptimum
  2. Dalam pembahagian MLP gaya Megatron, bagaimanakah dua matriks berat dibahagikan untuk meminimumkan komunikasi?
    • Kedua-duanya dari segi lajur
    • Dari segi lajur pertama, dari segi baris kedua
    • Kedua-duanya mengikut baris
    • Mereka tidak dipisahkan sama sekali
  3. Mengapakah selari tensor biasanya disimpan dalam satu nod?
    • Nod tidak boleh menjalankan GPU
    • GPU dalam nod yang berbeza menggunakan matematik yang berbeza
    • Ia memerlukan komunikasi lebar jalur tinggi yang kerap dilayan dengan terbaik oleh NVLink
    • Ia adalah keperluan undang-undang
  4. Bagaimanakah mekanisme perhatian biasanya disejajarkan di bawah selari tensor?
    • Dengan memberikan setiap GPU pengiraan perhatian penuh secara berlebihan
    • Dengan melangkau perhatian sepenuhnya
    • Dengan menukar perhatian kepada lilitan
    • Dengan membahagikan kepala perhatian, setiap GPU mengendalikan subset
  5. Apakah operasi kolektif yang biasanya menggabungkan hasil separa dalam keselarian tensor?
    • Pengurangan semua
    • Salinan fail
    • Gabungan pangkalan data
    • Carian DNS
  6. Bagaimanakah selari tensor biasanya sesuai dengan 'keselarian 3D'?
    • Ia menggantikan semua bentuk paralelisme yang lain
    • Ia digabungkan dengan saluran paip dan selari data
    • Ia hanya berfungsi tanpa sebarang paralelisme lain
    • Ia digunakan semata-mata untuk model imej
  7. Selepas partition mengikut baris matriks kedua MLP, mengapakah GPU mesti menggabungkan output separa?
    • GPU masing-masing mempunyai pengoptimum yang berbeza
    • Hasilnya ialah kebarangkalian perbendaharaan kata yang mesti diisih
    • Setiap GPU mengira sumbangan separa kepada output yang sama, jadi kepingan mesti dijumlahkan
    • Model perlu purata set data berasingan
  8. Mengapakah kependaman antara sambungan boleh mengehadkan penskalaan selari tensor merentasi nod yang jauh?
    • Keselarian tensor tidak pernah berkomunikasi antara GPU
    • Topeng perhatian mesti disalin selepas setiap token
    • Setiap GPU melatih model yang berasingan
    • Kolektif diperlukan berulang kali dalam lapisan, jadi kependaman komunikasi terkumpul