Quiz dotyczący równoległości tensorów dla dużych modeli

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co powoduje równoległość tensorów pomiędzy procesorami graficznymi?
   • Matryce wagowe mieszczą się w jednej warstwie
   • Całe warstwy umieszczone na oddzielnych procesorach graficznych
   • Różne zestawy danych szkoleniowych
   • Szybkość uczenia się optymalizatora
2. W podziale MLP w stylu Megatron, w jaki sposób dwie macierze wag są podzielone, aby zminimalizować komunikację?
   • Zarówno kolumnowo
   • Najpierw w kolumnie, drugi w rzędzie
   • Oba rzędowo
   • W ogóle nie są podzielone
3. Dlaczego równoległość tensorów jest zwykle utrzymywana w jednym węźle?
   • Węzły nie mogą obsługiwać procesorów graficznych
   • Procesory graficzne w różnych węzłach korzystają z różnych obliczeń matematycznych
   • Wymaga częstej komunikacji o dużej przepustowości, najlepiej obsługiwanej przez NVLink
   • Jest to wymóg prawny
4. W jaki sposób mechanizm uwagi jest zwykle zrównoleglony w przypadku równoległości tensorów?
   • Dzięki nadmiarowemu poświęcaniu każdemu procesorowi graficznemu pełnej uwagi na obliczenia
   • Całkowicie pomijając uwagę
   • Konwertując uwagę na splot
   • Dzieląc uwagę na głowy, każdy procesor graficzny obsługuje podzbiór
5. Jaka operacja zbiorowa zwykle łączy częściowe wyniki w równoległości tensorów?
   • Wszechstronna redukcja
   • Kopia pliku
   • Połączenie z bazą danych
   • Wyszukiwanie DNS
6. W jaki sposób równoległość tensorów zazwyczaj pasuje do „równoległości 3D”?
   • Zastępuje wszystkie inne formy równoległości
   • Jest to połączone z równoległością potoków i danych
   • Działa tylko bez żadnej innej równoległości
   • Jest używany wyłącznie do modeli obrazów
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates