DeepSpeed 및 Megatron 교육 스택 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. DeepSpeed의 ZeRO 최적화 프로그램의 주요 목적은 무엇입니까?
   • 메모리를 절약하기 위해 GPU 전반에 걸쳐 최적화 프로그램 상태, 그라데이션 및 매개변수를 분할합니다.
   • 배포를 위해 최종 모델을 압축하려면
   • 프레임워크 간에 모델을 변환하려면
   • 훈련 데이터에 자동으로 레이블을 지정하려면
2. Megatron-LM에서 개척된 Tensor 병렬 처리는 모델을 어떻게 분할합니까?
   • 서로 다른 GPU에 서로 다른 레이어를 배치함으로써
   • GPU 전체의 레이어 내에서 개별 행렬 곱셈을 슬라이싱합니다.
   • 각 GPU에 서로 다른 데이터 배치를 제공함으로써
   • 서로 다른 GPU에 서로 다른 시간 단계를 저장함으로써
3. 파이프라인 병렬 처리는 모델을 다음과 같이 분할한다는 점에서 텐서 병렬 처리와 다릅니다.
   • 각 레이어 내부의 행렬 조각화
   • 모든 GPU에서 전체 모델 복제
   • 서로 다른 GPU에 서로 다른 레이어(단계) 할당
   • 정밀도를 낮추기 위해 가중치를 양자화
4. 모델 매개변수 자체도 샤딩하여 가장 큰 메모리 절약 효과를 제공하는 ZeRO 단계는 무엇입니까?
   • 1단계
   • 2단계
   • 0단계
   • 3단계
5. 훈련 중에 메모리를 절약하기 위해 '활성화 체크포인트'는 무엇을 교환합니까?
   • 역방향 전달 중에 활성화를 다시 계산하여 추가 계산
   • 모델 정확도
   • 네트워크 대역폭
   • 레이어 수
6. 이러한 기술을 결합하는 것을 종종 '3D 병렬 처리'라고 부르는 이유는 무엇입니까?
   • 3D 그래픽 카드에서만 작동합니다.
   • 세 축을 따라 데이터, 텐서 및 파이프라인 병렬 처리를 결합합니다.
   • 최대 3개의 GPU를 사용합니다.
   • 모델을 3차원으로 렌더링합니다.
7. Which ZeRO stage first shards optimizer state across data-parallel workers?
   • 0단계
   • 2단계
   • 1단계
   • 3단계
8. What does CPU or NVMe offloading do in large-model training stacks?
   • Copies the full model to every GPU
   • Removes all inter-GPU communication
   • Changes tensor parallelism into reinforcement learning
   • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget