데이터 병렬성 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 표준 데이터 병렬 처리에서 각 GPU는 무엇을 보유합니까?
   • 배치의 다른 조각을 처리하는 모델의 전체 복사본
   • 모델 레이어의 다른 조각
   • 가중치가 중앙에 저장되어 있는 최적화 상태만
   • 매개변수가 더 적은 모델의 압축 버전
2. 각 단계에서 모델 복제본의 동기화를 유지하는 통신 작업은 무엇입니까?
   • 한 GPU의 데이터를 다른 모든 GPU에 복사하는 브로드캐스트
   • 모든 GPU의 기울기를 평균화하는 All-Reduce
   • GPU 간에 데이터를 나누는 분산형
   • GPU 간 통신이 필요하지 않습니다.
3. What memory limit remains in plain data parallelism?
   • The full model is sharded automatically across the GPUs
   • Only the input batch uses device memory
   • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
   • Each worker stores different model layers by default
4. Which factors does NCCL use when selecting collective algorithms?
   • Only the random seed and learning rate
   • Only the total number of model parameters
   • The optimizer type and validation score
   • Message size and topology
5. PyTorch DistributedDataParallel은 통신 대기 시간을 어떻게 숨깁니까?
   • 진행 중인 역전파 과정과 Gradient All-Reduce를 겹쳐서
   • 교대 단계에서 그라데이션 동기화를 건너뛰는 방법
   • 모든 그래디언트를 단일 숫자로 압축하여
   • CPU에서 정방향 패스를 실행하여
6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
   • B divided by W
   • B multiplied by W, before any gradient-accumulation factor
   • Always exactly W samples
   • The model parameter count divided by B
7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
   • All-reduce makes model parameters disappear
   • The model is copied only to one worker
   • Gradient communication, data loading, and synchronization add overhead
   • More workers always reduce the global batch to zero
8. What does gradient accumulation let a data-parallel training loop do?
   • Shard parameters automatically across all workers
   • Skip forward and backward computation
   • Replace the model with an all-reduce operation
   • Combine gradients from multiple microbatches before an optimizer update