Kvíz spojený s průvodcem · Těžko úroveň
Kvíz o paralelním modelu a potrubí
Vysvětlí tenzor a rozdělení potrubí, aktivační převody, plány mikrodávek, bubliny potrubí a kompromisy v komunikaci.
Otázka 1 z 8
Jaký základní problém řeší paralelismus modelu a potrubí?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký základní problém řeší paralelismus modelu a potrubí?
- Model je příliš velký na to, aby se vešel do paměti jediného GPU
- Pomalé načítání dat z disku
- Přechody explodující během tréninku
- K dispozici je příliš málo příkladů školení
- Jak funguje rozdělení tenzorového (vnitrovrstvého) paralelismu?
- Přiřazuje celé vrstvy různým GPU
- Rozděluje matematiku uvnitř vrstvy, jako je matice násobení, mezi GPU
- Duplikuje každou vrstvu na každém GPU
- Spouští každou vrstvu dvakrát kvůli redundanci
- Co je to „bublina“ v naivním paralelismu potrubí?
- Únik paměti, který se postupem času zvětšuje
- Duplicitní kopie stavu optimalizátoru
- Doba nečinnosti, kdy downstream GPU čekají na upstream fáze k aktivaci
- Prudký nárůst hodnot gradientu
- Jak rovnoběžnost potrubí snižuje bublinu?
- Použitím menší míry učení
- Odebráním některých vrstev z modelu
- Uložením aktivací na CPU
- Rozdělením každé šarže na mikrodávky, které procházejí jednotlivými stupni střídavě
- Proč je paralelismus tenzoru obvykle udržován v rámci jednoho uzlu?
- Protože jeho časté úplné snížení dílčích výsledků těží z rychlých propojení mezi uzly, jako je NVLink
- Protože to nevyžaduje žádnou komunikaci
- Protože uzly nemohou sdílet data vůbec
- Protože podporuje pouze jeden GPU
- Který rámec je nejlépe známý pro paralelismus tenzorů v tréninku transformátorů?
- scikit-učit se
- NVIDIA Megatron-LM
- OpenCV
- pandy
- What data must move between stages in pipeline parallelism during a forward pass?
- The entire training dataset after each layer
- Only the optimizer’s learning rate
- Activation tensors produced by one stage and consumed by the next
- No data, because stages are independent models
- Why does tensor parallelism often require fast communication within its group?
- It assigns each GPU a separate dataset and never synchronizes
- It communicates only once when the model is loaded
- It uses no cross-device operations
- Devices exchange partial results or activations within layers during computation