Büyük Modeller için Tensör Paralelliği Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Tensör paralelliği GPU'lar arasında nasıl bölünür?
   • Tek bir katmandaki ağırlık matrisleri
   • Katmanların tamamı ayrı GPU'lara yerleştirildi
   • Farklı eğitim veri kümeleri
   • Optimize edici öğrenme oranı
2. Megatron tarzı MLP bölünmesinde, iletişimi en aza indirmek için iki ağırlık matrisi nasıl bölünür?
   • Her ikisi de sütun bazında
   • İlk sütun bazında, ikinci satır bazında
   • Her ikisi de satır bazında
   • Hiçbir şekilde bölümlenmemişler
3. Tensör paralelliği neden genellikle tek bir düğümde tutulur?
   • Düğümler GPU'ları çalıştıramaz
   • Farklı düğümlerdeki GPU'lar farklı matematik kullanır
   • En iyi NVLink tarafından sunulan, sık sık yüksek bant genişliğine sahip iletişime ihtiyaç duyar
   • Bu yasal bir zorunluluktur
4. Dikkat mekanizması tipik olarak tensör paralelliği altında nasıl paralelleştirilir?
   • Her GPU'ya yedekli olarak hesaplamanın tamamını vererek
   • Dikkati tamamen atlayarak
   • Dikkati bir evrişime dönüştürerek
   • Dikkat kafaları arasında bölünerek her GPU bir alt kümeyi yönetir
5. Hangi kolektif işlem genellikle kısmi sonuçları tensör paralelliğinde birleştirir?
   • Tamamen azaltılmış bir
   • Bir dosya kopyası
   • Veritabanı birleştirme
   • DNS araması
6. Tensör paralelliği tipik olarak '3 boyutlu paralelliğe' nasıl uyuyor?
   • Diğer tüm paralellik biçimlerinin yerini alır
   • Boru hattı ve veri paralelliği ile birleştirilmiştir
   • Yalnızca başka bir paralellik olmadan çalışır
   • Yalnızca görüntü modelleri için kullanılır
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates