Тест, свързан с ръководство · Среден Ниво

Тест за компромиси при активиране и повторно изчисляване

Тествайте контролната точка за активиране, компромисите с паметта, селективното повторно изчисление и коректността на повторението, включително защо допълнителното изчисление не коригира всички разходи за памет.

Свързани ръководни пътекиКомпромиси при повторно изчисляване на активиране
Въпрос 1 на 8

Какво променя повторното изчисление на активирането, за да спести памет?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво променя повторното изчисление на активирането, за да спести памет?
    • Точност на модела
    • Допълнителни изчисления (FLOPs)
    • Честотна лента на мрежата
    • Числена точност
  2. Защо активациите за прехвърляне напред обикновено се съхраняват изобщо?
    • За да ги покаже на потребителя
    • За компресиране на модела
    • Те са необходими за токенизиране
    • Тъй като обратното разпространение се нуждае от тях, за да изчисли градиенти
  3. Why should activation checkpointing overhead be measured on the actual model?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. Каква е идеята зад селективното (не пълно) повторно изчисляване?
    • Преизчислете всяка операция два пъти
    • Никога не преизчислявайте нищо
    • Преизчислете само слоя за вграждане
    • Преизчислете само тежки за памет, но евтини за изчисления операции, кеширайте скъпите
  6. Коя допълнителна техника често се комбинира с повторно изчисляване, за да се спести още повече памет?
    • Увеличаване на размера на партидата
    • Прехвърляне на активации към CPU или NVMe
    • Премахване на всички нормализиращи слоеве
    • Превключване в режим на извод
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer