Quiz dotyczący równoległości modeli i potoków

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki podstawowy problem rozwiązuje równoległość modelu i potoku?
   • Model jest zbyt duży, aby zmieścić się w pamięci pojedynczego procesora graficznego
   • Powolne ładowanie danych z dysku
   • Gradienty eksplodujące podczas treningu
   • Zbyt mało dostępnych przykładów szkoleniowych
2. Jak działa podział równoległości tensorowej (wewnątrzwarstwowej)?
   • Przypisuje całe warstwy różnym procesorom graficznym
   • Dzieli matematykę w warstwie, podobnie jak mnożenie macierzy, pomiędzy procesorami graficznymi
   • Duplikuje każdą warstwę na każdym GPU
   • Uruchamia każdą warstwę dwukrotnie w celu zapewnienia redundancji
3. Czym jest „bańka” w naiwnej równoległości rurociągów?
   • Wyciek pamięci, który narasta z czasem
   • Duplikat stanu optymalizatora
   • Czas bezczynności, w którym procesory graficzne znajdujące się poniżej oczekują, aż etapy nadrzędne wygenerują aktywację
   • Skok wartości gradientu
4. W jaki sposób równoległość rurociągów zmniejsza bańkę?
   • Używając mniejszego tempa uczenia się
   • Poprzez usunięcie niektórych warstw z modelu
   • Zapisując aktywacje na procesorze
   • Dzieląc każdą partię na mikropartie, które przepływają przez etapy w sposób naprzemienny
5. Dlaczego równoległość tensorów jest zwykle utrzymywana w jednym węźle?
   • Ponieważ częsta redukcja wyników częściowych zapewnia korzyści z szybkich łączy międzywęzłowych, takich jak NVLink
   • Ponieważ nie wymaga żadnej komunikacji
   • Ponieważ węzły w ogóle nie mogą udostępniać danych
   • Ponieważ obsługuje tylko jeden procesor graficzny
6. Który framework jest najbardziej znany z równoległości tensorów w szkoleniu transformatorów?
   • scikit-ucz się
   • NVIDIA Megatron-LM
   • Otwórz CV
   • Pandy
7. What data must move between stages in pipeline parallelism during a forward pass?
   • The entire training dataset after each layer
   • Only the optimizer’s learning rate
   • Activation tensors produced by one stage and consumed by the next
   • No data, because stages are independent models
8. Why does tensor parallelism often require fast communication within its group?
   • It assigns each GPU a separate dataset and never synchronizes
   • It communicates only once when the model is loaded
   • It uses no cross-device operations
   • Devices exchange partial results or activations within layers during computation