Gids-gekoppelde quiz · Moeilijk Niveau

Model- en pijplijnparallellismequiz

Verklaart tensor- en pijplijnpartitionering, activeringsoverdrachten, microbatchschema's, pijplijnbubbels en communicatie-afwegingen.

Gerelateerde gidspadenModel- en pijplijnparallellisme
Vraag 1 van 8

Welk fundamenteel probleem lossen model- en pijplijnparallellisme op?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welk fundamenteel probleem lossen model- en pijplijnparallellisme op?
    • Een model dat te groot is om in het geheugen van een enkele GPU te passen
    • Langzaam laden van gegevens vanaf schijf
    • Hellingen exploderen tijdens de training
    • Er zijn te weinig trainingsvoorbeelden beschikbaar
  2. Hoe werkt de splitsing van tensor (intralaag) parallellisme?
    • Het wijst hele lagen toe aan verschillende GPU's
    • Het verdeelt de wiskunde binnen een laag, zoals een matrixvermenigvuldiging, over GPU's
    • Het dupliceert elke laag op elke GPU
    • Elke laag wordt tweemaal uitgevoerd voor redundantie
  3. Wat is de 'zeepbel' in het naïeve pijplijnparallellisme?
    • Een geheugenlek dat in de loop van de tijd groter wordt
    • Een duplicaat van de optimalisatiestatus
    • Inactieve tijd waarin stroomafwaartse GPU's wachten tot stroomopwaartse fasen activaties produceren
    • Een piek in gradiëntwaarden
  4. Hoe vermindert het parallellisme van pijpleidingen de zeepbel?
    • Door gebruik te maken van een kleiner leertempo
    • Door enkele lagen uit het model te verwijderen
    • Door activeringen op de CPU op te slaan
    • Door elke batch op te splitsen in microbatches die gespreid door de fasen stromen
  5. Waarom wordt het tensorparallellisme doorgaans binnen één knooppunt gehouden?
    • Omdat de frequente, volledige vermindering van gedeeltelijke resultaten profiteert van snelle intra-node-koppelingen zoals NVLink
    • Omdat er geen communicatie voor nodig is
    • Omdat knooppunten helemaal geen gegevens kunnen delen
    • Omdat het slechts één GPU ondersteunt
  6. Welk raamwerk is het meest bekend voor tensorparallellisme in transformatortraining?
    • scikit-leren
    • NVIDIA Megatron-LM
    • OpenCV
    • Panda's
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation