Тест за тензорен паралелизъм за големи модели

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво разделя тензорният паралелизъм между GPU?
   • Матриците на теглото в рамките на един слой
   • Цели слоеве, поставени на отделни графични процесори
   • Различни набори от данни за обучение
   • Скоростта на обучение на оптимизатора
2. При разделянето на MLP в стил Megatron, как са разделени двете матрици на теглото, за да се сведе до минимум комуникацията?
   • И двете колони
   • Първа колона, втори ред
   • И двата реда
   • Изобщо не са преградени
3. Защо тензорният паралелизъм обикновено се поддържа в рамките на един възел?
   • Възлите не могат да изпълняват графични процесори
   • Графичните процесори в различните възли използват различна математика
   • Нуждае се от честа комуникация с висока честотна лента, обслужвана най-добре от NVLink
   • Това е законово изискване
4. Как механизмът на вниманието обикновено се паралелизира при тензорен паралелизъм?
   • Като предоставя на всеки GPU пълното внимание на изчисленията излишно
   • Като прескача изцяло вниманието
   • Чрез превръщане на вниманието в намотка
   • Чрез разделяне между главите на вниманието, всеки GPU обработва подмножество
5. Коя колективна операция обикновено комбинира частични резултати в тензорния паралелизъм?
   • Цялостно намаление
   • Копие на файл
   • Присъединяване към база данни
   • DNS търсене
6. Как тензорният паралелизъм обикновено се вписва в „3D паралелизъм“?
   • Той замества всички други форми на паралелизъм
   • Комбинира се с конвейер и паралелизъм на данни
   • Работи само без друг паралелизъм
   • Използва се само за имидж модели
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates