ZeRO 및 샤디드 최적화 도구 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 일반 데이터 병렬 처리와 비교하여 ZeRO는 어떤 중복성을 제거합니까?
   • 모든 GPU에서 최적화 상태, 그라데이션 및 매개변수의 전체 복사본을 복제합니다.
   • 각 GPU에 훈련 데이터의 중복 복사본
   • 노드 간 중복 네트워크 케이블
   • 동일한 배치에 대해 반복적인 전달 전달
2. 최적화 프로그램 상태가 종종 Adam의 가장 큰 메모리를 차지하는 이유는 무엇입니까?
   • Adam은 추가 상태를 전혀 저장하지 않습니다.
   • Adam은 종종 모델 크기의 몇 배에 해당하는 추가 매개변수별 값(운동량 및 분산 등)을 유지합니다.
   • Adam은 전체 데이터 세트를 복제합니다.
   • Adam은 과거의 모든 그래디언트를 영원히 저장해야 합니다.
3. 1단계와 2단계에는 없는 ZeRO 3단계 샤드에는 어떤 샤드가 있나요?
   • 훈련 데이터
   • 손실 함수
   • 모델 매개변수 자체
   • 학습률 일정
4. ZeRO Stage 3에서 GPU는 레이어의 순방향 패스에 필요한 전체 매개변수를 어떻게 얻습니까?
   • 전체 매개변수가 필요하지 않습니다.
   • 인터넷에서 다운로드합니다.
   • 매번 처음부터 다시 계산합니다.
   • 누락된 조각을 수집하기 위해 전체 수집을 수행한 다음 나중에 폐기합니다.
5. ZeRO 스타일 샤딩을 기본적으로 구현하는 PyTorch 기능은 무엇입니까?
   • FSDP(완전 샤딩된 데이터 병렬)
   • 데이터로더
   • 토치스크립트
   • 오토그라드
6. ZeRO가 메모리를 절약하기 위해 취하는 핵심 절충안은 무엇입니까?
   • 속도를 위해 모델 정확도를 희생합니다.
   • 필요에 따라 파편을 모으고 흩뿌리기 위해 추가 통신을 추가합니다.
   • 모델에서 레이어를 제거합니다.
   • 매우 작은 모델에서만 작동합니다.
7. Which state is partitioned in ZeRO Stage 1?
   • Only parameters, with optimizer states replicated
   • Parameters, gradients, and optimizer states all sharded
   • Optimizer states, while parameters and gradients remain replicated
   • Only input activations and labels
8. What is a practical cost of ZeRO-style sharding?
   • It removes the need to calculate gradients
   • It makes every optimizer update local with no data exchange
   • It requires the model to be retrained from scratch for every step
   • Additional communication to gather parameters and distribute gradients