Тест на параллелизм моделей и конвейеров

Ответы и пояснения появляются по мере прохождения теста.

1. Какую фундаментальную проблему решает параллелизм моделей и конвейеров?
   • Модель слишком велика, чтобы поместиться в памяти одного графического процессора.
   • Медленная загрузка данных с диска
   • Градиенты взрываются во время тренировки
   • Доступно слишком мало обучающих примеров.
2. Как работает разделение тензорного (внутриуровневого) параллелизма?
   • Он назначает целые слои различным графическим процессорам.
   • Он разделяет математические вычисления внутри слоя, как умножение матрицы, между графическими процессорами.
   • Он дублирует каждый слой на каждом графическом процессоре.
   • Он запускает каждый уровень дважды для обеспечения избыточности.
3. Что такое «пузырь» в наивном конвейерном параллелизме?
   • Утечка памяти, которая увеличивается со временем
   • Дубликат состояния оптимизатора
   • Время простоя, когда нижестоящие графические процессоры ждут вышестоящих этапов для выполнения активаций.
   • Резкий скачок значений градиента
4. Как параллелизм конвейеров уменьшает пузырь?
   • Используя меньшую скорость обучения
   • Удалением некоторых слоев из модели
   • Сохраняя активации в ЦП
   • Путем разделения каждой партии на микропартии, которые проходят этапы в шахматном порядке.
5. Почему тензорный параллелизм обычно сохраняется в пределах одного узла?
   • Потому что его частое полное сокращение частичных результатов выигрывает от быстрых внутриузловых каналов, таких как NVLink.
   • Потому что это не требует никакого общения
   • Потому что узлы вообще не могут обмениваться данными
   • Потому что он поддерживает только один графический процессор
6. Какая структура наиболее известна благодаря тензорному параллелизму в обучении трансформаторов?
   • scikit-learn
   • NVIDIA Мегатрон-LM
   • OpenCV
   • Панды
7. What data must move between stages in pipeline parallelism during a forward pass?
   • The entire training dataset after each layer
   • Only the optimizer’s learning rate
   • Activation tensors produced by one stage and consumed by the next
   • No data, because stages are independent models
8. Why does tensor parallelism often require fast communication within its group?
   • It assigns each GPU a separate dataset and never synchronizes
   • It communicates only once when the model is loaded
   • It uses no cross-device operations
   • Devices exchange partial results or activations within layers during computation