모델 및 파이프라인 병렬성
모델이 너무 커서 하나의 GPU에 맞지 않는 경우 모델 및 파이프라인 병렬 처리가 모델 자체를 여러 장치로 분할합니다.
개요
This is what makes training giant language models with hundreds of billions of parameters physically possible.
심층 분석
모델 병렬 처리는 단일 모델을 여러 GPU로 분할하므로 하나의 장치가 모든 가중치를 보유할 필요가 없습니다. 맛은 크게 2가지가 있습니다. 텐서(레이어 내) 병렬 처리는 각각 출력의 일부를 계산하는 GPU 전체에서 큰 행렬 곱셈을 자르는 것과 같이 레이어 내부의 수학을 분할합니다. 파이프라인(계층 간) 병렬 처리는 서로 다른 연속 계층을 서로 다른 GPU에 할당하므로 계층 블록 1은 GPU 0에 있고 블록 2는 GPU 1에 있는 식으로 활성화가 조립 라인처럼 앞으로 전달됩니다. 순진한 파이프라이닝의 문제점은 '버블'입니다. GPU 0이 첫 번째 배치에서 작동하는 동안 다운스트림 GPU는 유휴 상태입니다. 파이프라이닝은 각 배치를 마이크로 배치로 분할하여 모든 단계를 바쁘게 유지하여 활용도를 극적으로 향상시킵니다.
기술적 통찰력
NVIDIA Megatron-LM과 같은 텐서 병렬 처리는 가중치 행렬을 열 또는 행 단위로 분할하고 전체 축소를 사용하여 부분 결과를 재결합하여 빠른 NVLink 노드 내에서 통신을 유지합니다. 파이프라인 병렬 처리(GPipe, PipeDream)는 배치를 시차를 둔 일정으로 단계를 통과하는 마이크로 배치로 나누어 유휴 '버블' 시간을 줄입니다. 이 둘은 노드 내 텐서 병렬성과 노드 간 파이프라인 병렬성을 통해 함께 계층화되는 경우가 많습니다.
전략적 영향
비용 및 예산
아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
더 명확한 결정들
기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
품질 관리
더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
모델 및 파이프라인 병렬성의 미래
프레임워크는 프로파일링과 검색을 사용하여 컴퓨팅과 통신의 균형을 유지함으로써 여러 장치에서 모델을 분할하는 방법을 결정하는 어려운 문제를 점점 더 자동화하고 있습니다. 텐서, 파이프라인 및 데이터 병렬성(3D 병렬성)의 보다 긴밀한 통합, 파이프라인 거품을 거의 제거하는 보다 스마트한 마이크로 배치 스케줄링, 더 빠른 상호 연결을 갖춘 하드웨어를 기대하므로 칩 전체에 단일 레이어를 분할하는 것이 더 큰 모델의 경우 더 저렴하고 일상적이 됩니다.
실제 구현
텐서 병렬성을 통해 각 변환기 레이어의 주의와 피드포워드 행렬을 GPU 전체에 분할하는 NVIDIA Megatron-LM으로 GPT 스타일 모델을 훈련합니다.
GPipe를 사용하여 거대한 비전 또는 언어 모델의 다양한 레이어를 별도의 액셀러레이터에 배치하는 동시에 마이크로 배치 처리로 인해 바쁘게 됩니다.
DeepSpeed의 파이프라인 엔진은 수천억 개의 매개변수 모델을 여러 노드의 단계로 분할합니다.
단일 8-GPU 서버 내부의 텐서 병렬 처리와 여러 서버에 걸친 파이프라인 병렬 처리를 결합하여 하나의 시스템에 비해 너무 큰 모델을 교육합니다.
위험 및 가드레일
하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
인프라 및 유지 관리 비용은 종종 과소평가됩니다.
시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
구현 로드맵
구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model and Pipeline Parallelism quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
대형 모델의 텐서 병렬성
자주 묻는 질문
What is Model and Pipeline Parallelism?
모델이 너무 커서 하나의 GPU에 맞지 않는 경우 모델 및 파이프라인 병렬 처리가 모델 자체를 여러 장치로 분할합니다. 이것이 바로 수천억 개의 매개변수를 사용하여 거대한 언어 모델을 물리적으로 훈련시키는 것을 가능하게 하는 것입니다.
모델과 파이프라인 병렬 처리는 어떤 근본적인 문제를 해결합니까?
모델 및 파이프라인 병렬 처리는 모델 자체를 여러 장치로 분할하여 단일 GPU가 수용할 수 있는 것보다 훨씬 더 큰 네트워크 훈련을 가능하게 합니다.
텐서(계층 내) 병렬 처리 분할은 어떻게 작동하나요?
텐서 병렬 처리는 단일 레이어 내에서 계산을 나눕니다. 예를 들어 큰 가중치 행렬을 분할하여 각 GPU가 출력의 일부를 계산하도록 합니다.
순진한 파이프라인 병렬 처리의 '버블'은 무엇입니까?
파이프라인 단계 초기에 다운스트림 단계에는 아직 입력이 없고 유휴 상태이므로 GPU 시간이 낭비됩니다. 이 유휴 간격을 버블이라고 합니다.
파이프라인 병렬 처리는 어떻게 거품을 줄입니까?
배치를 마이크로 배치로 나누면 여러 마이크로 배치가 서로 다른 단계를 동시에 차지할 수 있으므로 모든 GPU를 계속 사용하고 유휴 시간을 줄일 수 있습니다.
텐서 병렬 처리가 일반적으로 단일 노드 내에서 유지되는 이유는 무엇입니까?
텐서 병렬 처리는 부분 행렬 결과를 재결합하기 위해 자주 통신하므로 NVLink를 통한 노드 내부의 상호 연결 대역폭이 가장 높은 곳에 배치됩니다.