テクニカルガイド
マルチインスタンス GPU パーティショニング
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
このガイドを聴くAIによるナレーション · ~2 min
概要
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
ディープダイブ
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
現実世界の実装
クラウド プロバイダーは 1 つの A100 を 7 つのインスタンスに分割するため、7 人の顧客がそれぞれ、推論用に保証された分離された GPU スライスを取得します。
大学の研究クラスターでは、カード全体を独占するのではなく、プロトタイピング用に各博士課程の学生に 10 GB の MIG インスタンスを提供しています。
推論サービスは、複数の小さな言語モデルとビジョン モデルを 1 台の H100 にパックし、それぞれが予測可能な遅延を持つ独自のパーティションにパックされます。
Kubernetes クラスターは MIG インスタンスをスケジュール可能なリソースとしてアドバタイズするため、ポッドは他のリソースと同様に「nvidia.com/mig-1g.5gb」をリクエストします。
マルチインスタンス GPU パーティショニングの将来
GPU が 80 GB、141 GB とそれ以上に増加すると、個々のモデルが推論にカード全体を必要とすることがほとんどなくなるため、パーティショニングがより魅力的になります。 Kubernetes とクラウドのより緊密な統合、ノードを消耗させない動的な再パーティショニング、およびよりきめの細かいプロファイルが期待されます。競合ベンダーも同様の SR-IOV スタイルの GPU 仮想化を追求しており、サーバーレス推論プラットフォームは、多くのモデルを高密度にパックして無駄な無駄を削減するためにパーティショニングへの依存度を高めています。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
マルチインスタンス GPU パーティショニングとは何ですか?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
MIG が最初に導入されたのはどの NVIDIA アーキテクチャですか?
MIG は、Ampere ベースの A100 でデビューし、H100 以降のデータセンター GPU で継続されました。
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
「1g.5gb」のような MIG プロファイルの「5gb」は何を表しますか?
このプロファイルは、インスタンスに与えられるコンピューティング スライス (1g) と専用メモリ (5GB) をエンコードします。
MIG はどのワークロードに特に適していますか?
MIG は、多くの小さく分離されたワークロード (推論など) がサービス品質が保証された 1 つのカードを共有する場合に威力を発揮します。