Тест компромісів щодо активації, повторного обчислення

Відповіді та пояснення з’являються під час виконання тесту.

1. Що компенсує повторне обчислення активації для збереження пам’яті?
   • Точність моделі
   • Додаткові обчислення (FLOPs)
   • Пропускна здатність мережі
   • Числова точність
2. Чому активації прямого проходу взагалі зазвичай зберігаються?
   • Щоб відобразити їх користувачеві
   • Щоб стиснути модель
   • Вони необхідні для токенізації
   • Тому що вони потрібні зворотному поширенню для обчислення градієнтів
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. Яка ідея вибіркового (не повного) повторного обчислення?
   • Перерахуйте кожну операцію двічі
   • Ніколи нічого не обчислюйте заново
   • Повторно обчисліть лише шар вбудовування
   • Повторно обчислюйте лише важкі для обчислення, але дешеві операції, кешуйте дорогі
6. Який додатковий метод часто поєднується з повторним обчисленням, щоб зберегти ще більше пам’яті?
   • Збільшення розміру партії
   • Перенесення активацій на ЦП або NVMe
   • Видалення всіх шарів нормалізації
   • Перехід у режим висновку
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer