Викторина, связанная с руководством · Средний Уровень

Викторина по компромиссам при активации и перерасчете

Тестовая активация, определяющая компромиссы между памятью, выборочным повторным вычислением и корректностью воспроизведения, в том числе, почему дополнительные вычисления не устраняют все затраты памяти.

Связанные направляющие путиКомпромиссы при перевычислении активации
Вопрос 1 из 8

Чем жертвует перерасчет активации для экономии памяти?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Чем жертвует перерасчет активации для экономии памяти?
    • Точность модели
    • Дополнительные вычисления (FLOP)
    • Пропускная способность сети
    • Числовая точность
  2. Почему активации прямого прохода обычно вообще сохраняются?
    • Чтобы отобразить их пользователю
    • Сжатие модели
    • Они необходимы для токенизации
    • Потому что они нужны обратному распространению ошибки для вычисления градиентов.
  3. Why should activation checkpointing overhead be measured on the actual model?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. В чем идея выборочного (не полного) перерасчета?
    • Пересчитывать каждую операцию дважды
    • Никогда ничего не пересчитывайте
    • Пересчитать только слой внедрения
    • Пересчитывать только операции с большим объемом памяти, но с дешевыми вычислениями, кэшировать дорогостоящие операции.
  6. Какой дополнительный метод часто сочетается с повторным вычислением, чтобы сэкономить еще больше памяти?
    • Увеличение размера пакета
    • Выгрузка активаций на ЦП или NVMe
    • Удаление всех слоев нормализации
    • Переключение в режим вывода
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer