ต่อไปคำแนะนำต่อไป
Hugging Face Accelerate for Multi-GPU Training
เทคนิค
คู่มือทางเทคนิค
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
ผู้ให้บริการระบบคลาวด์แบ่ง A100 หนึ่งเครื่องออกเป็นเจ็ดอินสแตนซ์ ดังนั้นลูกค้าเจ็ดรายแต่ละรายจะได้รับชิ้นส่วน GPU ที่รับประกันและแยกส่วนสำหรับการอนุมาน
กลุ่มการวิจัยของมหาวิทยาลัยมอบอินสแตนซ์ MIG ขนาด 10GB แก่นักศึกษาปริญญาเอกแต่ละคนสำหรับการสร้างต้นแบบ แทนที่จะผูกขาดการ์ดทั้งหมด
บริการอนุมานได้รวมโมเดลภาษาและการมองเห็นขนาดเล็กจำนวนมากไว้ใน H100 ตัวเดียว โดยแต่ละโมเดลอยู่ในพาร์ติชันของตัวเองพร้อมเวลาแฝงที่คาดการณ์ได้
คลัสเตอร์ Kubernetes โฆษณาอินสแตนซ์ MIG ว่าเป็นทรัพยากรที่กำหนดเวลาได้ ดังนั้นพ็อดจึงขอ 'nvidia.com/mig-1g.5gb' เช่นเดียวกับทรัพยากรอื่นๆ
เมื่อ GPU ขยายเป็น 80GB, 141GB และมากกว่านั้น การแบ่งพาร์ติชั่นจะน่าสนใจยิ่งขึ้น เนื่องจากแต่ละรุ่นไม่จำเป็นต้องใช้การ์ดทั้งหมดในการอนุมาน คาดว่าจะมีการรวม Kubernetes และคลาวด์ที่เข้มงวดมากขึ้น การแบ่งพาร์ติชันแบบไดนามิกโดยไม่ทำให้โหนดเปลือง และโปรไฟล์ที่ละเอียดยิ่งขึ้น ผู้จำหน่ายที่แข่งขันกันกำลังแสวงหาการจำลองเสมือน GPU สไตล์ SR-IOV ที่คล้ายกัน และแพลตฟอร์มการอนุมานแบบไร้เซิร์ฟเวอร์พึ่งพาการแบ่งพาร์ติชันมากขึ้นเพื่อบรรจุโมเดลจำนวนมากไว้หนาแน่นและลดขยะที่ไม่ได้ใช้งาน
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
MIG เปิดตัวครั้งแรกด้วย A100 ที่ใช้ Ampere และต่อยอดบน H100 และ GPU สำหรับศูนย์ข้อมูลรุ่นใหม่กว่า
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
โปรไฟล์เข้ารหัสส่วนการประมวลผล (1g) และหน่วยความจำเฉพาะ (5GB) ที่มอบให้กับอินสแตนซ์
MIG โดดเด่นเมื่อเวิร์กโหลดขนาดเล็กจำนวนมาก (เช่น การอนุมาน) แบ่งปันการ์ดใบเดียวพร้อมรับประกันคุณภาพการบริการ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
Hugging Face Accelerate for Multi-GPU Training
เทคนิค