Тест, свързан с ръководство · трудно Ниво

Тест за паралелност на модели и тръбопроводи

Обяснява тензорно и тръбопроводно разделяне, активиращи трансфери, графици на микропартиди, тръбопроводни балончета и комуникационни компромиси.

Свързани ръководни пътекиПаралелизъм на модел и тръбопровод
Въпрос 1 на 8

Какъв основен проблем решава паралелизмът на модела и конвейера?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какъв основен проблем решава паралелизмът на модела и конвейера?
    • Моделът е твърде голям, за да се побере в паметта на един GPU
    • Бавно зареждане на данни от диска
    • Градиентите експлодират по време на тренировка
    • Налични са твърде малко примери за обучение
  2. Как работи разделянето на тензорен (вътрешен слой) паралелизъм?
    • Той присвоява цели слоеве на различни графични процесори
    • Той разделя математиката вътре в слой, като умножение на матрица, между GPU
    • Той дублира всеки слой на всеки GPU
    • Той изпълнява всеки слой два пъти за излишък
  3. Какво е „балонът“ в наивния паралелизъм на тръбопровода?
    • Изтичане на памет, което нараства с времето
    • Дубликат на състоянието на оптимизатора
    • Време на неактивност, когато GPU надолу по веригата чакат етапите нагоре по веригата, за да произведат активации
    • Скок в стойностите на градиента
  4. Как успоредността на тръбопровода намалява балона?
    • Чрез използване на по-малка скорост на обучение
    • Като премахнете някои слоеве от модела
    • Чрез съхраняване на активации в процесора
    • Чрез разделяне на всяка партида на микропартиди, които преминават през етапи по шахматен начин
  5. Защо тензорният паралелизъм обикновено се поддържа в рамките на един възел?
    • Тъй като честото му пълно намаляване на частични резултати се възползва от бързи вътрешни възлови връзки като NVLink
    • Защото не изисква никаква комуникация
    • Тъй като възлите изобщо не могат да споделят данни
    • Тъй като поддържа само един GPU
  6. Коя рамка е най-известна за тензорния паралелизъм в обучението на трансформатори?
    • scikit-learn
    • NVIDIA Megatron-LM
    • OpenCV
    • панди
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation