คู่มือทางเทคนิค

การแบ่งพาร์ติชัน GPU หลายอินสแตนซ์

NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการแบ่งพาร์ติชัน GPU หลายอินสแตนซ์
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

เจาะลึก

MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.

การใช้งานจริงในโลกแห่งความเป็นจริง

ผู้ให้บริการระบบคลาวด์แบ่ง A100 หนึ่งเครื่องออกเป็นเจ็ดอินสแตนซ์ ดังนั้นลูกค้าเจ็ดรายแต่ละรายจะได้รับชิ้นส่วน GPU ที่รับประกันและแยกส่วนสำหรับการอนุมาน

กลุ่มการวิจัยของมหาวิทยาลัยมอบอินสแตนซ์ MIG ขนาด 10GB แก่นักศึกษาปริญญาเอกแต่ละคนสำหรับการสร้างต้นแบบ แทนที่จะผูกขาดการ์ดทั้งหมด

บริการอนุมานได้รวมโมเดลภาษาและการมองเห็นขนาดเล็กจำนวนมากไว้ใน H100 ตัวเดียว โดยแต่ละโมเดลอยู่ในพาร์ติชันของตัวเองพร้อมเวลาแฝงที่คาดการณ์ได้

คลัสเตอร์ Kubernetes โฆษณาอินสแตนซ์ MIG ว่าเป็นทรัพยากรที่กำหนดเวลาได้ ดังนั้นพ็อดจึงขอ 'nvidia.com/mig-1g.5gb' เช่นเดียวกับทรัพยากรอื่นๆ

อนาคตของการแบ่งพาร์ติชัน GPU หลายอินสแตนซ์

เมื่อ GPU ขยายเป็น 80GB, 141GB และมากกว่านั้น การแบ่งพาร์ติชั่นจะน่าสนใจยิ่งขึ้น เนื่องจากแต่ละรุ่นไม่จำเป็นต้องใช้การ์ดทั้งหมดในการอนุมาน คาดว่าจะมีการรวม Kubernetes และคลาวด์ที่เข้มงวดมากขึ้น การแบ่งพาร์ติชันแบบไดนามิกโดยไม่ทำให้โหนดเปลือง และโปรไฟล์ที่ละเอียดยิ่งขึ้น ผู้จำหน่ายที่แข่งขันกันกำลังแสวงหาการจำลองเสมือน GPU สไตล์ SR-IOV ที่คล้ายกัน และแพลตฟอร์มการอนุมานแบบไร้เซิร์ฟเวอร์พึ่งพาการแบ่งพาร์ติชันมากขึ้นเพื่อบรรจุโมเดลจำนวนมากไว้หนาแน่นและลดขยะที่ไม่ได้ใช้งาน

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Multi-Instance GPU Partitioning quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Multi-Instance GPU Partitioning?

NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?

MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.

MIG เปิดตัวครั้งแรกบนสถาปัตยกรรม NVIDIA ใด

MIG เปิดตัวครั้งแรกด้วย A100 ที่ใช้ Ampere และต่อยอดบน H100 และ GPU สำหรับศูนย์ข้อมูลรุ่นใหม่กว่า

On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?

The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.

ในโปรไฟล์ MIG เช่น '1g.5gb' '5gb' แสดงถึงอะไร

โปรไฟล์เข้ารหัสส่วนการประมวลผล (1g) และหน่วยความจำเฉพาะ (5GB) ที่มอบให้กับอินสแตนซ์

MIG เหมาะสมกับปริมาณงานใดเป็นพิเศษ

MIG โดดเด่นเมื่อเวิร์กโหลดขนาดเล็กจำนวนมาก (เช่น การอนุมาน) แบ่งปันการ์ดใบเดียวพร้อมรับประกันคุณภาพการบริการ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →