대형 모델의 텐서 병렬성 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 텐서 병렬 처리는 GPU에서 무엇을 분할합니까?
   • 단일 레이어 내의 가중치 행렬
   • 별도의 GPU에 배치된 전체 레이어
   • 다양한 훈련 데이터세트
   • 옵티마이저 학습률
2. Megatron 스타일 MLP 분할에서 통신을 최소화하기 위해 두 개의 가중치 행렬을 어떻게 분할합니까?
   • 둘 다 열 단위로
   • 첫 번째 열 기준, 두 번째 행 기준
   • 행별로 모두
   • 전혀 분할되어 있지 않습니다.
3. 텐서 병렬 처리가 일반적으로 단일 노드 내에 유지되는 이유는 무엇입니까?
   • 노드는 GPU를 실행할 수 없습니다.
   • 서로 다른 노드의 GPU는 서로 다른 수학을 사용합니다.
   • NVLink가 가장 잘 제공하는 빈번한 고대역폭 통신이 필요합니다.
   • 법적요건입니다
4. 텐서 병렬 처리에서 주의 메커니즘은 일반적으로 어떻게 병렬화됩니까?
   • 모든 GPU에 전체 주의 계산을 중복하여 제공함으로써
   • 주의를 완전히 건너뛰면
   • 주의를 컨볼루션으로 전환함으로써
   • Attention Head를 분할하여 각 GPU가 하위 집합을 처리합니다.
5. 일반적으로 텐서 병렬 처리에서 부분 결과를 결합하는 집합 작업은 무엇입니까?
   • 올리듀스
   • 파일 복사본
   • 데이터베이스 조인
   • DNS 조회
6. 텐서 병렬성은 일반적으로 '3D 병렬성'에 어떻게 적합합니까?
   • 다른 모든 형태의 병렬 처리를 대체합니다.
   • 파이프라인 및 데이터 병렬성과 결합됩니다.
   • 다른 병렬 처리 없이만 작동합니다.
   • 이미지 모델에만 사용됩니다.
7. MLP의 두 번째 행렬을 행 단위로 분할한 후 GPU가 부분 출력을 결합해야 하는 이유는 무엇입니까?
   • GPU는 각각 다른 최적화 프로그램을 보유합니다.
   • 결과는 정렬되어야 하는 어휘 확률입니다.
   • 각 GPU는 동일한 출력에 대한 부분적인 기여를 계산하므로 해당 조각을 합산해야 합니다.
   • 모델은 별도의 데이터 세트를 평균화해야 합니다.
8. 상호 연결 대기 시간이 멀리 있는 노드 간의 텐서 병렬 확장을 제한할 수 있는 이유는 무엇입니까?
   • Tensor 병렬화는 GPU 간에 통신하지 않습니다.
   • 어텐션 마스크는 모든 토큰 다음에 복사되어야 합니다.
   • 모든 GPU는 별도의 모델을 학습합니다.
   • 레이어 내에서 Collective가 반복적으로 필요하므로 통신 지연 시간이 누적됩니다.