Test legat de ghid · Greu Nivel

Test de paralelism model și conductă

Explains tensor and pipeline partitioning, activation transfers, microbatch schedules, pipeline bubbles, and communication tradeoffs.

Căi de ghidare aferenteParalelismul modelului și conductei
Întrebare 1 de 8

Ce problemă fundamentală rezolvă paralelismul modelului și conductei?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce problemă fundamentală rezolvă paralelismul modelului și conductei?
    • Un model este prea mare pentru a încăpea în memoria unui singur GPU
    • Încărcare lentă a datelor de pe disc
    • Degrade explodând în timpul antrenamentului
    • Prea puține exemple de antrenament disponibile
  2. Cum funcționează împărțirea paralelismului tensor (intra-strat)?
    • Atribuie straturi întregi diferitelor GPU-uri
    • Împarte matematica în interiorul unui strat, ca o multiplicare a matricei, pe GPU-uri
    • Dublează fiecare strat de pe fiecare GPU
    • Se rulează fiecare strat de două ori pentru redundanță
  3. Ce este „bula” în paralelismul naiv al conductelor?
    • O scurgere de memorie care crește în timp
    • O copie duplicată a stării optimizatorului
    • Timp de inactivitate când GPU-urile din aval așteaptă ca etapele din amonte să producă activări
    • O creștere a valorilor gradientului
  4. Cum reduce paralelismul conductelor bula?
    • Folosind o rată de învățare mai mică
    • Prin eliminarea unor straturi din model
    • Prin stocarea activărilor pe CPU
    • Prin împărțirea fiecărui lot în micro-loturi care trec prin etape într-un mod eșalonat
  5. De ce paralelismul tensorului este de obicei păstrat într-un singur nod?
    • Deoarece reducerea frecventă a rezultatelor parțiale beneficiază de legături rapide intra-nod precum NVLink
    • Pentru că nu necesită nicio comunicare
    • Deoarece nodurile nu pot partaja deloc date
    • Pentru că acceptă doar un singur GPU
  6. Care cadru este cel mai cunoscut pentru paralelismul tensorului în antrenamentul transformatorului?
    • scikit-learn
    • NVIDIA Megatron-LM
    • OpenCV
    • panda
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation