Назад до всіх тестівВікторина, пов’язана з посібникомважко Рівень6 Питання

Тест із навчальних стеків DeepSpeed і Megatron

Перевірте своє розуміння методів паралелізму та оптимізації пам’яті, що лежать у основі навчання великомасштабної моделі.

Пов'язані напрямні шляхи

Питання 1 з 6Правильно: 0

Яке основне призначення оптимізатора ZeRO від DeepSpeed?