Викторина по накоплению градиента

Ответы и пояснения появляются по мере прохождения теста.

1. Что в первую очередь позволяет делать накопление градиента?
   • Тренируйтесь без графического процессора
   • Пропустить обратный проход
   • Имитация большего эффективного размера пакета при ограниченной памяти
   • Полностью исключить оптимизатор
2. При ступенях накопления размера микропартии 4 и 8 эффективный размер партии составляет:
   • 32
   • 4
   • 8
   • 12
3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
   • После каждой микропартии
   • Никогда
   • Перед пасом вперед
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. Чтобы сохранить правильную эффективную скорость обучения, потери на микропакет обычно составляют:
   • Умножено на N
   • Делится на количество шагов накопления N
   • Установить на ноль
   • Заменено с точностью
5. Какой слой нормализации лучше сочетается с накоплением градиента?
   • Нормализация слоев или групп, поскольку они не зависят от статистики партии.
   • Пакетная нормализация, потому что она любит маленькие партии.
   • Никакая нормализация с ним не работает
   • Только отсев
6. Основные затраты на использование градиентного накопления составляют:
   • Больше памяти графического процессора используется на пике
   • Потеря всех градиентов
   • Увеличенное время работы настенных часов на одно эффективное обновление
   • Невозможность использовать оптимизатор
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch