Вікторина «Градієнтне накопичення».

Відповіді та пояснення з’являються під час виконання тесту.

1. Що в першу чергу дозволяє робити градієнтне накопичення?
   • Тренуйтеся без GPU
   • Пропустіть передачу назад
   • Симулюйте більший ефективний розмір пакета в обмеженій пам’яті
   • Виключіть оптимізатор повністю
2. З розміром мікросерії 4 і 8 кроків накопичення ефективний розмір партії становить:
   • 32
   • 4
   • 8
   • 12
3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
   • Після кожної мікропартії
   • Ніколи
   • Перед передачею вперед
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. Щоб підтримувати правильний ефективний рівень навчання, втрати на мікросерію зазвичай становлять:
   • Помножити на N
   • Поділено на кількість кроків накопичення N
   • Встановити на нуль
   • Замінено з точністю
5. Який шар нормалізації точніше поєднується з накопиченням градієнта?
   • Нормалізація рівня або групи, оскільки вони не залежать від статистики партії
   • Пакетна нормалізація, тому що вона любить крихітні партії
   • Жодна нормалізація з ним не працює
   • Тільки відсів
6. Основна вартість використання градієнтного накопичення:
   • Більше пам’яті GPU використовується на піку
   • Втрата всіх градієнтів
   • Довший час роботи настінного годинника на одне ефективне оновлення
   • Неможливість використання оптимізатора
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch