Тест, свързан с ръководство · Среден Ниво

Тест за натрупване на градиенти

Тествайте градиентни суми на микропартиди, ефективен размер на партида, мащабиране на загубите, време на оптимизиране, граници на нормализиране и грешки при преждевременно нулиране.

Свързани ръководни пътекиГрадиентно натрупване
Въпрос 1 на 8

Какво основно ви позволява да правите натрупването на градиент?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво основно ви позволява да правите натрупването на градиент?
    • Тренирайте без GPU
    • Пропуснете подаването назад
    • Симулирайте по-голям ефективен размер на партида върху ограничена памет
    • Елиминирайте напълно оптимизатора
  2. С размер на микропартида 4 и 8 стъпки на натрупване, ефективният размер на партидата е:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • След всяка микропартида
    • Никога
    • Преди подаването напред
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. За да се поддържа ефективната скорост на обучение правилна, загубата на микропартида обикновено е:
    • Умножено по N
    • Разделено на броя на стъпките за натрупване N
    • Задайте нула
    • Заменен с точност
  5. Кой слой за нормализиране се сдвоява по-чисто с натрупването на градиент?
    • Нормализация на слой или група, тъй като те не зависят от статистиката на партидата
    • Нормализиране на партиди, защото обича малки партиди
    • Никаква нормализация не работи с него
    • Само отпадане
  6. Основната цена на използването на градиентно натрупване е:
    • Повече GPU памет се използва при пик
    • Загуба на всички градиенти
    • По-дълго време на стенен часовник за ефективна актуализация
    • Невъзможност за използване на оптимизатор
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch