Тензорный параллелизм для больших моделей. Викторина

Ответы и пояснения появляются по мере прохождения теста.

1. Что разделяет тензорный параллелизм между графическими процессорами?
   • Матрицы весов в одном слое
   • Целые слои размещены на отдельных графических процессорах
   • Различные наборы обучающих данных
   • Скорость обучения оптимизатора
2. Как разделяются две весовые матрицы в MLP-разделении в стиле Мегатрона, чтобы минимизировать общение?
   • Оба по столбцам
   • Первый столбец, второй ряд
   • Оба по рядам
   • Они вообще не разделены
3. Почему тензорный параллелизм обычно сохраняется в пределах одного узла?
   • Узлы не могут запускать графические процессоры
   • Графические процессоры в разных узлах используют разную математику
   • Требуется частая высокоскоростная связь, которую лучше всего обеспечивает NVLink.
   • Это законное требование
4. Как механизм внимания обычно распараллеливается при тензорном параллелизме?
   • Предоставляя каждому графическому процессору полное внимание к вычислениям с избыточностью
   • Полностью пропуская внимание
   • Преобразуя внимание на свертку
   • Разделив внимание на несколько голов, каждый графический процессор обрабатывает подмножество
5. Какая коллективная операция обычно объединяет частичные результаты при тензорном параллелизме?
   • Полностью сократить
   • Копия файла
   • Соединение с базой данных
   • DNS-поиск
6. Как тензорный параллелизм обычно вписывается в «3D-параллелизм»?
   • Он заменяет все другие формы параллелизма.
   • Он сочетается с параллелизмом конвейеров и данных.
   • Это работает только без какого-либо другого параллелизма
   • Используется исключительно для имиджевых моделей.
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates