Gids-gekoppelde quiz · Moeilijk Niveau

Tensorparallellisme voor grote modellenquiz

Controleert hoe tensor-parallellisme laagmatrices vernietigt, gedeeltelijke uitvoer combineert, aandachtshoofden splitst en past in parallellisme met meerdere assen.

Vraag 1 van 8

Wat is het tensor-parallellisme verdeeld over GPU's?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het tensor-parallellisme verdeeld over GPU's?
    • De gewichtsmatrices binnen één enkele laag
    • Hele lagen geplaatst op afzonderlijke GPU's
    • Verschillende trainingsdatasets
    • Het leerpercentage van de optimalisatie
  2. Hoe worden bij de MLP-splitsing in Megatron-stijl de twee gewichtsmatrices verdeeld om de communicatie te minimaliseren?
    • Beide kolomgewijs
    • Eerste kolomsgewijs, tweede rijsgewijs
    • Beide rijsgewijs
    • Ze zijn helemaal niet verdeeld
  3. Waarom wordt het tensorparallellisme meestal binnen één knooppunt gehouden?
    • Knooppunten kunnen geen GPU's uitvoeren
    • GPU's in verschillende knooppunten gebruiken verschillende wiskunde
    • Het heeft frequente communicatie met hoge bandbreedte nodig die het beste wordt bediend door NVLink
    • Het is een wettelijke vereiste
  4. Hoe wordt het aandachtsmechanisme doorgaans geparallelliseerd onder tensorparallellisme?
    • Door elke GPU redundant de volledige aandacht te geven
    • Door de aandacht volledig over te slaan
    • Door de aandacht om te zetten in een convolutie
    • Door de aandachtshoofden te verdelen, verwerkt elke GPU een subset
  5. Welke collectieve operatie combineert gewoonlijk gedeeltelijke resultaten in tensorparallellisme?
    • Een alles-reductie
    • Een bestandskopie
    • Een database-join
    • Een DNS-zoekopdracht
  6. Hoe past tensor-parallellisme doorgaans in '3D-parallellisme'?
    • Het vervangt alle andere vormen van parallellisme
    • Het wordt gecombineerd met pijplijn- en dataparallellisme
    • Het werkt alleen zonder enig ander parallellisme
    • Het wordt uitsluitend gebruikt voor afbeeldingsmodellen
  7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
    • The GPUs each hold a different optimizer
    • The result is a vocabulary probability that must be sorted
    • Each GPU computed a partial contribution to the same output, so the pieces must be summed
    • The model needs to average separate datasets
  8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
    • Tensor parallelism never communicates between GPUs
    • The attention mask must be copied after every token
    • Every GPU trains a separate model
    • Collectives are required repeatedly within layers, so communication latency accumulates