Kvíz spojený s průvodcem · Těžko úroveň

Kvíz o paralelním modelu a potrubí

Vysvětlí tenzor a rozdělení potrubí, aktivační převody, plány mikrodávek, bubliny potrubí a kompromisy v komunikaci.

Související vodicí cestyModel A Paralelnost Potrubí
Otázka 1 z 8

Jaký základní problém řeší paralelismus modelu a potrubí?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký základní problém řeší paralelismus modelu a potrubí?
    • Model je příliš velký na to, aby se vešel do paměti jediného GPU
    • Pomalé načítání dat z disku
    • Přechody explodující během tréninku
    • K dispozici je příliš málo příkladů školení
  2. Jak funguje rozdělení tenzorového (vnitrovrstvého) paralelismu?
    • Přiřazuje celé vrstvy různým GPU
    • Rozděluje matematiku uvnitř vrstvy, jako je matice násobení, mezi GPU
    • Duplikuje každou vrstvu na každém GPU
    • Spouští každou vrstvu dvakrát kvůli redundanci
  3. Co je to „bublina“ v naivním paralelismu potrubí?
    • Únik paměti, který se postupem času zvětšuje
    • Duplicitní kopie stavu optimalizátoru
    • Doba nečinnosti, kdy downstream GPU čekají na upstream fáze k aktivaci
    • Prudký nárůst hodnot gradientu
  4. Jak rovnoběžnost potrubí snižuje bublinu?
    • Použitím menší míry učení
    • Odebráním některých vrstev z modelu
    • Uložením aktivací na CPU
    • Rozdělením každé šarže na mikrodávky, které procházejí jednotlivými stupni střídavě
  5. Proč je paralelismus tenzoru obvykle udržován v rámci jednoho uzlu?
    • Protože jeho časté úplné snížení dílčích výsledků těží z rychlých propojení mezi uzly, jako je NVLink
    • Protože to nevyžaduje žádnou komunikaci
    • Protože uzly nemohou sdílet data vůbec
    • Protože podporuje pouze jeden GPU
  6. Který rámec je nejlépe známý pro paralelismus tenzorů v tréninku transformátorů?
    • scikit-učit se
    • NVIDIA Megatron-LM
    • OpenCV
    • pandy
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation