다중 인스턴스 GPU 파티셔닝
MIG(멀티 인스턴스 GPU)는 단일 물리적 GPU를 여러 개의 격리된 하드웨어 파티션으로 분할하는 NVIDIA 기술입니다.
개요
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
심층 분석
NVIDIA A100(Ampere)에 도입되어 H100 및 최신 데이터 센터 GPU에서 계속되는 MIG는 GPU를 최대 7개의 독립 인스턴스로 분할합니다. 소프트웨어 시간 분할과 달리 MIG는 진정한 하드웨어 격리를 제공합니다. 각 인스턴스는 자체 전용 스트리밍 멀티프로세서(SM), L2 캐시 슬라이스, 메모리 컨트롤러 및 고대역폭 메모리의 고정 슬라이스를 갖습니다. 40GB의 A100은 7개의 5GB 인스턴스 또는 더 적은 수의 더 큰 인스턴스로 분할할 수 있습니다. 각 파티션은 더 작은 독립형 GPU처럼 작동하므로 한 인스턴스의 작업이 시끄럽거나 충돌하더라도 다른 인스턴스가 중단되거나 손상될 수 없습니다. 이렇게 보장된 서비스 품질 덕분에 MIG는 추론 서비스, 멀티 테넌트 클러스터 및 많은 사용자가 하나의 카드를 공유하는 개발 환경에 이상적입니다.
기술적 통찰력
MIG는 GPU의 내부 크로스바를 물리적으로 게이팅하여 작동하므로 각 인스턴스는 자체 메모리 슬라이스 및 SM에 대한 고정 경로를 갖습니다. NVIDIA는 프로필을 1g.5gb(컴퓨팅 슬라이스 1개, 5GB)부터 최대 7g.40gb까지의 분수로 정의합니다. GPU 인스턴스는 메모리와 SM을 예약합니다. 그 안에서 컴퓨트 인스턴스는 SM을 더욱 세분화합니다. 파티션은 하드웨어로 강제되므로 오류, ECC 오류 및 메모리 대역폭은 단일 인스턴스로 제한됩니다.
전략적 영향
비용 및 예산
아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
더 명확한 결정들
기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
품질 관리
더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
멀티 인스턴스 GPU 파티셔닝의 미래
GPU가 80GB, 141GB 이상으로 성장함에 따라 개별 모델이 추론을 위해 전체 카드가 거의 필요하지 않기 때문에 파티셔닝이 더욱 매력적이 됩니다. 더욱 긴밀해진 Kubernetes 및 클라우드 통합, 노드를 소모하지 않는 동적 재분할, 더욱 세분화된 프로필을 기대하세요. 경쟁 공급업체는 유사한 SR-IOV 스타일 GPU 가상화를 추구하고 있으며, 서버리스 추론 플랫폼은 많은 모델을 조밀하게 포장하고 유휴 낭비를 줄이기 위해 파티셔닝에 점점 더 의존하고 있습니다.
실제 구현
클라우드 공급자는 하나의 A100을 7개의 인스턴스로 분할하여 7명의 고객 각각이 추론을 위해 보장되고 격리된 GPU 슬라이스를 얻습니다.
대학 연구 클러스터는 전체 카드를 독점하는 대신 프로토타입 제작을 위해 각 박사 과정 학생에게 10GB MIG 인스턴스를 제공합니다.
추론 서비스는 여러 개의 작은 언어 및 비전 모델을 하나의 H100에 압축합니다. 각 모델은 예측 가능한 대기 시간을 갖는 자체 파티션에 있습니다.
Kubernetes 클러스터는 MIG 인스턴스를 예약 가능한 리소스로 광고하므로 포드는 다른 리소스와 마찬가지로 'nvidia.com/mig-1g.5gb'를 요청합니다.
위험 및 가드레일
하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
인프라 및 유지 관리 비용은 종종 과소평가됩니다.
시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
구현 로드맵
구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
다중 작업 학습
자주 묻는 질문
What is Multi-Instance GPU Partitioning?
MIG(멀티 인스턴스 GPU)는 단일 물리적 GPU를 여러 개의 격리된 하드웨어 파티션으로 분할하는 NVIDIA 기술입니다. 하나의 값비싼 가속기가 서로 간섭하지 않고 동시에 많은 소규모 워크로드를 처리할 수 있기 때문에 중요합니다.
MIG는 인스턴스 간에 어떤 종류의 격리를 제공하나요?
MIG는 하드웨어 격리를 시행하여 워크로드가 방해할 수 없도록 SM, L2 캐시 슬라이스 및 메모리를 각 인스턴스에 전용으로 지정합니다.
MIG가 처음 도입된 NVIDIA 아키텍처는 무엇입니까?
MIG는 Ampere 기반 A100으로 데뷔했으며 H100 및 이후 데이터 센터 GPU에서 계속되었습니다.
MIG 지원 GPU를 분할할 수 있는 최대 인스턴스 수는 몇 개입니까?
A100과 같은 MIG 지원 GPU는 최대 7개의 독립적인 인스턴스로 분할될 수 있습니다.
'1g.5gb'와 같은 MIG 프로필에서 '5gb'는 무엇을 의미하나요?
프로필은 인스턴스에 제공된 컴퓨팅 슬라이스(1g)와 전용 메모리(5GB)를 인코딩합니다.
MIG는 어떤 워크로드에 특히 적합합니까?
MIG는 다수의 작고 격리된 워크로드(추론 등)가 서비스 품질이 보장된 하나의 카드를 공유할 때 빛을 발합니다.