Gids-gekoppelde quiz · Moeilijk Niveau
Model- en pijplijnparallellismequiz
Verklaart tensor- en pijplijnpartitionering, activeringsoverdrachten, microbatchschema's, pijplijnbubbels en communicatie-afwegingen.
Vraag 1 van 8
Welk fundamenteel probleem lossen model- en pijplijnparallellisme op?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welk fundamenteel probleem lossen model- en pijplijnparallellisme op?
- Een model dat te groot is om in het geheugen van een enkele GPU te passen
- Langzaam laden van gegevens vanaf schijf
- Hellingen exploderen tijdens de training
- Er zijn te weinig trainingsvoorbeelden beschikbaar
- Hoe werkt de splitsing van tensor (intralaag) parallellisme?
- Het wijst hele lagen toe aan verschillende GPU's
- Het verdeelt de wiskunde binnen een laag, zoals een matrixvermenigvuldiging, over GPU's
- Het dupliceert elke laag op elke GPU
- Elke laag wordt tweemaal uitgevoerd voor redundantie
- Wat is de 'zeepbel' in het naïeve pijplijnparallellisme?
- Een geheugenlek dat in de loop van de tijd groter wordt
- Een duplicaat van de optimalisatiestatus
- Inactieve tijd waarin stroomafwaartse GPU's wachten tot stroomopwaartse fasen activaties produceren
- Een piek in gradiëntwaarden
- Hoe vermindert het parallellisme van pijpleidingen de zeepbel?
- Door gebruik te maken van een kleiner leertempo
- Door enkele lagen uit het model te verwijderen
- Door activeringen op de CPU op te slaan
- Door elke batch op te splitsen in microbatches die gespreid door de fasen stromen
- Waarom wordt het tensorparallellisme doorgaans binnen één knooppunt gehouden?
- Omdat de frequente, volledige vermindering van gedeeltelijke resultaten profiteert van snelle intra-node-koppelingen zoals NVLink
- Omdat er geen communicatie voor nodig is
- Omdat knooppunten helemaal geen gegevens kunnen delen
- Omdat het slechts één GPU ondersteunt
- Welk raamwerk is het meest bekend voor tensorparallellisme in transformatortraining?
- scikit-leren
- NVIDIA Megatron-LM
- OpenCV
- Panda's
- What data must move between stages in pipeline parallelism during a forward pass?
- The entire training dataset after each layer
- Only the optimizer’s learning rate
- Activation tensors produced by one stage and consumed by the next
- No data, because stages are independent models
- Why does tensor parallelism often require fast communication within its group?
- It assigns each GPU a separate dataset and never synchronizes
- It communicates only once when the model is loaded
- It uses no cross-device operations
- Devices exchange partial results or activations within layers during computation