Назад до всіх тестівВікторина, пов’язана з посібникомважко Рівень6 Питання

Паралельний тест із повністю сегментованими даними

Перевірте своє розуміння того, як Fully Sharded Data Parallel розділяє моделі та керує пам’яттю під час розподіленого навчання.

Пов'язані напрямні шляхиПовністю розділені дані паралельно
Питання 1 з 6

Що FSDP розподіляє між GPU, а стандартний паралелізм даних НІ?