ต่อไปคำแนะนำต่อไป
พื้นที่เก็บข้อมูลสำหรับคลัสเตอร์การฝึกอบรม AI
เทคนิค
คู่มือทางเทคนิค
Slurm เป็นตัวจัดการปริมาณงานแบบโอเพ่นซอร์สที่จัดกำหนดการและรันงานบนคลัสเตอร์การประมวลผลประสิทธิภาพสูง และกลายเป็นตัวเลือกเริ่มต้นสำหรับการฝึกอบรม AI ขนาดใหญ่
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It matters because it reliably distributes massive training runs across thousands of GPUs.
Slurm (ยูทิลิตี้ Linux อย่างง่ายสำหรับการจัดการทรัพยากร) มีต้นกำเนิดในซูเปอร์คอมพิวเตอร์ และปัจจุบันขับเคลื่อนคลัสเตอร์การฝึกอบรม AI ที่ใหญ่ที่สุดในโลกหลายแห่ง ผู้ใช้ส่งชุดสคริปต์ด้วย sbatch ขอทรัพยากร เช่น โหนดและ GPU ด้วยคำสั่ง เช่น --gres=gpu:8 และคิว Slurm จัดลำดับความสำคัญ และเริ่มต้นงาน ตัวเรียกใช้งานแบบ srun จะสร้างกระบวนการที่ประสานกันข้ามโหนด ซึ่งจับคู่ตามธรรมชาติกับเฟรมเวิร์กแบบกระจาย เช่น PyTorch DDP และ NCCL Slurm ติดตามการบัญชีทรัพยากร บังคับใช้ส่วนแบ่งที่ยุติธรรมและขีดจำกัดของพาร์ติชัน และจัดการการกำหนดเวลาทดแทนเพื่อแบ่งงานขนาดเล็กลงในช่องว่าง สำหรับการฝึกโมเดลแนวชายแดน ทีมต่างๆ อาศัย Slurm ในการจัดการ GPU นับพัน รีสตาร์ทจากจุดตรวจสอบหลังจากโหนดล้มเหลว และสงวนความจุเฉพาะไว้สำหรับการรันที่ยาวนานหลายสัปดาห์
ห้องปฏิบัติการชายแดนเปิดตัวการฝึกอบรมหลายสัปดาห์กับ GPU หลายพันตัวด้วยสคริปต์ชุดเดียวที่ร้องขอโหนดหลายร้อยโหนด
นักวิจัยส่ง 'srun --gres=gpu:8' เพื่อดึง GPU แปดตัวบนโหนดเดียวสำหรับการทดลอง PyTorch DDP
การกำหนดเวลาทดแทนจะสล็อตงานการประเมินผลสั้นๆ ลงใน GPU ที่ไม่ได้ใช้งาน ในขณะที่การดำเนินการฝึกอบรมที่สงวนไว้จำนวนมากกำลังรอให้เริ่มต้น
หลังจากที่โหนดล้มเหลวระหว่างการรัน Slurm จะจัดคิวงานใหม่และดำเนินการต่อจากจุดตรวจสอบล่าสุดแทนที่จะเริ่มต้นใหม่
Slurm ยังคงเพิ่มการรองรับระบบคลาวด์อย่างต่อเนื่อง การรองรับคอนเทนเนอร์ผ่าน Pyxis และ Enroot และฟีเจอร์ที่รับรู้ถึง GPU ที่เข้มงวดยิ่งขึ้น เมื่อคลัสเตอร์ AI ขยายไปสู่ GPU กว่า 100,000 ตัว คาดว่าจะมีความทนทานต่อข้อผิดพลาดมากขึ้น การรวมจุดตรวจสอบอัตโนมัติ-รีสตาร์ท และงานยืดหยุ่นที่จะปรับขนาดหลังจากเกิดความล้มเหลว ขณะนี้หลายองค์กรใช้งาน Slurm ควบคู่ไปกับหรือใต้ Kubernetes และเครื่องกำหนดเวลาแบบไฮบริดมีเป้าหมายที่จะผสมผสานประสิทธิภาพแบบ HPC เข้ากับความยืดหยุ่นแบบเนทีฟบนคลาวด์เพื่อการฝึกซ้อมที่ใหญ่ขึ้นกว่าเดิม
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Slurm เป็นตัวจัดการปริมาณงานแบบโอเพ่นซอร์สที่จัดกำหนดการและรันงานบนคลัสเตอร์การประมวลผลประสิทธิภาพสูง และกลายเป็นตัวเลือกเริ่มต้นสำหรับการฝึกอบรม AI ขนาดใหญ่ สิ่งสำคัญคือสามารถกระจายการฝึกซ้อมจำนวนมากไปยัง GPU นับพันได้อย่างน่าเชื่อถือ
sbatch ส่งสคริปต์ชุดที่อธิบายทรัพยากรและคำสั่งสำหรับงานไปยังคิว Slurm
ระบบ Generic Resource (GRES) ช่วยให้งานร้องขอ GPU ได้อย่างชัดเจน เช่น --gres=gpu:8
slurmctld เป็นตัวควบคุม daemon ที่จัดตารางเวลางาน ในขณะที่ slurmd ทำงานบนแต่ละโหนดเพื่อเริ่มงาน
srun launches task steps in the allocation and exposes Slurm task information; distributed frameworks may still require explicit rendezvous settings.
โฆษณาทดแทนปรับปรุงการใช้งานโดยปรับงานขนาดเล็กลงในช่องว่างของกำหนดการ ตราบใดที่งานเหล่านั้นไม่เลื่อนงานที่จองไว้กลับคืน
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
พื้นที่เก็บข้อมูลสำหรับคลัสเตอร์การฝึกอบรม AI
เทคนิค