모델 및 파이프라인 병렬성 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 모델과 파이프라인 병렬 처리는 어떤 근본적인 문제를 해결합니까?
   • 모델이 너무 커서 단일 GPU 메모리에 맞지 않는 경우
   • 디스크에서 데이터 로딩 속도가 느림
   • 훈련 중에 그라디언트가 폭발함
   • 사용 가능한 학습 예시가 너무 적습니다.
2. 텐서(계층 내) 병렬 처리 분할은 어떻게 작동하나요?
   • 전체 레이어를 다른 GPU에 할당합니다.
   • GPU 전체에서 행렬 곱셈과 같이 레이어 내부의 수학을 분할합니다.
   • 모든 GPU에서 각 레이어를 복제합니다.
   • 중복성을 위해 각 레이어를 두 번 실행합니다.
3. 순진한 파이프라인 병렬 처리의 '버블'은 무엇입니까?
   • 시간이 지남에 따라 증가하는 메모리 누수
   • 최적화 상태의 복사본
   • 다운스트림 GPU가 업스트림 단계에서 활성화를 생성할 때까지 기다리는 유휴 시간
   • 그라데이션 값의 급증
4. 파이프라인 병렬 처리는 어떻게 거품을 줄입니까?
   • 더 작은 학습률을 사용하여
   • 모델에서 일부 레이어를 제거하여
   • 활성화를 CPU에 저장함으로써
   • 각 배치를 엇갈린 방식으로 단계를 통과하는 마이크로 배치로 분할
5. 텐서 병렬 처리가 일반적으로 단일 노드 내에서 유지되는 이유는 무엇입니까?
   • 부분 결과의 빈번한 전체 축소는 NVLink와 같은 빠른 노드 내 링크의 이점을 누리기 때문입니다.
   • 의사소통이 필요하지 않기 때문에
   • 노드는 데이터를 전혀 공유할 수 없기 때문에
   • 하나의 GPU만 지원하기 때문에
6. 변환기 훈련에서 텐서 병렬 처리로 가장 잘 알려진 프레임워크는 무엇입니까?
   • scikit-learn
   • 엔비디아 메가트론-LM
   • 오픈CV
   • 팬더
7. What data must move between stages in pipeline parallelism during a forward pass?
   • The entire training dataset after each layer
   • Only the optimizer’s learning rate
   • Activation tensors produced by one stage and consumed by the next
   • No data, because stages are independent models
8. Why does tensor parallelism often require fast communication within its group?
   • It assigns each GPU a separate dataset and never synchronizes
   • It communicates only once when the model is loaded
   • It uses no cross-device operations
   • Devices exchange partial results or activations within layers during computation