Kvíz spojený s průvodcem · Těžko úroveň
Kvíz o paralelnosti tenzorů pro velké modely
Kontroluje, jak paralelismus tenzoru narušuje matice vrstev, kombinuje dílčí výstupy, rozděluje hlavy pozornosti a zapadá do víceosého paralelismu.
Otázka 1 z 8
Co rozděluje paralelismus tenzoru mezi GPU?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co rozděluje paralelismus tenzoru mezi GPU?
- Hmotnostní matice v rámci jedné vrstvy
- Celé vrstvy umístěné na samostatných GPU
- Různé tréninkové datové sady
- Rychlost učení optimalizátoru
- Jak jsou ve splitu MLP ve stylu Megatronu rozděleny dvě váhové matice, aby se minimalizovala komunikace?
- Oba sloupcově
- První sloupec, druhý řádek
- Oba po řadě
- Nejsou vůbec rozděleny
- Proč je paralelismus tenzorů obvykle udržován v rámci jednoho uzlu?
- Uzly nemohou spouštět GPU
- GPU v různých uzlech používají různé výpočty
- Vyžaduje častou širokopásmovou komunikaci, kterou nejlépe obslouží NVLink
- Je to zákonný požadavek
- Jak je mechanismus pozornosti typicky paralelizován při paralelismu tenzoru?
- Tím, že každému GPU poskytnete plnou pozornost při výpočtu redundantně
- Úplným přeskakováním pozornosti
- Převedením pozornosti na konvoluci
- Rozdělením mezi hlavy pozornosti každý GPU zpracovává podmnožinu
- Jaká kolektivní operace běžně kombinuje dílčí výsledky v tenzorovém paralelismu?
- Úplné snížení
- Kopie souboru
- Připojení k databázi
- Vyhledání DNS
- Jak se tenzorový paralelismus obvykle hodí do „3D paralelismu“?
- Nahrazuje všechny ostatní formy paralelismu
- Je kombinován s paralelismem potrubí a dat
- Funguje pouze bez dalšího paralelismu
- Používá se výhradně pro obrazové modely
- After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
- The GPUs each hold a different optimizer
- The result is a vocabulary probability that must be sorted
- Each GPU computed a partial contribution to the same output, so the pieces must be summed
- The model needs to average separate datasets
- Why can interconnect latency limit tensor-parallel scaling across distant nodes?
- Tensor parallelism never communicates between GPUs
- The attention mask must be copied after every token
- Every GPU trains a separate model
- Collectives are required repeatedly within layers, so communication latency accumulates