Gids-gekoppelde quiz · Moeilijk Niveau
Tensorparallellisme voor grote modellenquiz
Controleert hoe tensor-parallellisme laagmatrices vernietigt, gedeeltelijke uitvoer combineert, aandachtshoofden splitst en past in parallellisme met meerdere assen.
Vraag 1 van 8
Wat is het tensor-parallellisme verdeeld over GPU's?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het tensor-parallellisme verdeeld over GPU's?
- De gewichtsmatrices binnen één enkele laag
- Hele lagen geplaatst op afzonderlijke GPU's
- Verschillende trainingsdatasets
- Het leerpercentage van de optimalisatie
- Hoe worden bij de MLP-splitsing in Megatron-stijl de twee gewichtsmatrices verdeeld om de communicatie te minimaliseren?
- Beide kolomgewijs
- Eerste kolomsgewijs, tweede rijsgewijs
- Beide rijsgewijs
- Ze zijn helemaal niet verdeeld
- Waarom wordt het tensorparallellisme meestal binnen één knooppunt gehouden?
- Knooppunten kunnen geen GPU's uitvoeren
- GPU's in verschillende knooppunten gebruiken verschillende wiskunde
- Het heeft frequente communicatie met hoge bandbreedte nodig die het beste wordt bediend door NVLink
- Het is een wettelijke vereiste
- Hoe wordt het aandachtsmechanisme doorgaans geparallelliseerd onder tensorparallellisme?
- Door elke GPU redundant de volledige aandacht te geven
- Door de aandacht volledig over te slaan
- Door de aandacht om te zetten in een convolutie
- Door de aandachtshoofden te verdelen, verwerkt elke GPU een subset
- Welke collectieve operatie combineert gewoonlijk gedeeltelijke resultaten in tensorparallellisme?
- Een alles-reductie
- Een bestandskopie
- Een database-join
- Een DNS-zoekopdracht
- Hoe past tensor-parallellisme doorgaans in '3D-parallellisme'?
- Het vervangt alle andere vormen van parallellisme
- Het wordt gecombineerd met pijplijn- en dataparallellisme
- Het werkt alleen zonder enig ander parallellisme
- Het wordt uitsluitend gebruikt voor afbeeldingsmodellen
- After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
- The GPUs each hold a different optimizer
- The result is a vocabulary probability that must be sorted
- Each GPU computed a partial contribution to the same output, so the pieces must be summed
- The model needs to average separate datasets
- Why can interconnect latency limit tensor-parallel scaling across distant nodes?
- Tensor parallelism never communicates between GPUs
- The attention mask must be copied after every token
- Every GPU trains a separate model
- Collectives are required repeatedly within layers, so communication latency accumulates