활성화 재계산 장단점 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 메모리를 절약하기 위해 활성화 재계산은 무엇을 교환합니까?
   • 모델 정확도
   • 추가 컴퓨팅(FLOP)
   • 네트워크 대역폭
   • 수치 정밀도
2. 정방향 통과 활성화가 일반적으로 저장되는 이유는 무엇입니까?
   • 사용자에게 표시하려면
   • 모델을 압축하려면
   • 토큰화에 필요합니다.
   • 역전파에서는 그래디언트를 계산하는 데 필요하기 때문입니다.
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. 선택적(전체가 아님) 재계산의 기본 개념은 무엇입니까?
   • 모든 작업을 두 번 다시 계산
   • 아무것도 다시 계산하지 마세요
   • 임베딩 레이어만 다시 계산
   • 메모리는 많이 사용하지만 계산 비용이 저렴한 작업만 다시 계산하고 비용이 많이 드는 작업은 캐시합니다.
6. 더 많은 메모리를 절약하기 위해 종종 재계산과 결합되는 보완 기술은 무엇입니까?
   • 배치 크기 늘리기
   • 활성화를 CPU 또는 NVMe로 오프로드
   • 모든 정규화 레이어 제거
   • 추론 모드로 전환
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer