CPU 및 NVMe 퀴즈로 최적화 상태 오프로딩

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 최적화 프로그램 상태를 CPU 또는 NVMe로 오프로드하는 주요 목표는 무엇입니까?
   • 모델을 보다 정확하게 만들기 위해
   • 필요한 훈련 시대의 수를 줄이기 위해
   • 그라디언트의 필요성을 완전히 없애려면
   • 부족한 GPU 메모리를 확보하여 더 큰 모델에 적합
2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
   • Two bytes for all three values
   • Twelve bytes, excluding model weights and gradients
   • Sixteen bytes for the three values alone
   • Zero bytes because they are implicit
3. 대규모 최적화 프로그램 오프로딩을 대중화한 프레임워크는 무엇입니까?
   • 새로운 활성화 함수
   • JPEG 이미지 압축
   • DeepSpeed ​​ZeRO-Offload 및 ZeRO-Infinity
   • 그라데이션 클리핑
4. CPU 또는 NVMe로 오프로드하는 데 드는 주요 성능 비용은 얼마입니까?
   • 데이터는 PCIe 또는 디스크와 같은 느린 링크를 통해 이동해야 하므로 대기 시간이 추가됩니다.
   • 모델은 이전 훈련을 잊어버립니다.
   • 최적화 프로그램이 수학적으로 부정확해짐
   • GPU 온도가 너무 낮게 떨어집니다.
5. 오프로딩 시스템은 전송 대기 시간의 상당 부분을 어떻게 숨깁니까?
   • 역방향 패스를 건너뛰는 방법
   • 진행 중인 GPU 계산과 데이터 미리 가져오기를 겹쳐서
   • 한 번에 하나의 매개변수만 학습하여
   • 혼합 정밀도를 비활성화하여
6. ZeRO-Offload에서 Adam 최적화 단계는 어디에서 자주 실행됩니까?
   • NVMe 컨트롤러에서 완전히 작동
   • 별도의 디스플레이 GPU
   • CPU에 저장된 마스터 가중치와 모멘트를 사용하여
   • 네트워크 스위치 내부
7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
   • The job can still run out of GPU memory
   • Offloading guarantees the job fits any GPU
   • The optimizer moments automatically become model activations
   • The model no longer needs forward tensors
8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
   • Only the inference accuracy
   • The UI font used for training logs
   • Only the number of dataset classes
   • Host optimizer-update time and host-device transfer time