技術指南

用於 AI 訓練集群的 Slurm

Slurm 是一款開源工作負載管理器,可在高效能運算叢集上調度並運行作業,它已成為大型 AI 訓練的預設選擇。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. AI 訓練集群 Slurm 的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這很重要,因為它能可靠地將大量訓練運算分散到數千個 GPU 上。

深入探討

Slurm(用於資源管理的簡單 Linux 實用程式)起源於超級運算,現在為世界上許多最大的人工智慧訓練叢集提供支援。使用者使用 sbatch 提交批次腳本,使用 --gres=gpu:8 等指令請求節點和 GPU 等資源,以及 Slurm 佇列、優先權並啟動工作。它的 srun 啟動器在節點之間產生協調的進程,這與 PyTorch DDP 和 NCCL 等分散式框架自然配對。 Slurm 追蹤資源核算,實施公平共享和分區限制,並處理回填調度以將小作業放入間隙中。對於前緣模型訓練,團隊依靠 Slurm 來管理數千個 GPU,在節點故障後從檢查點重新啟動,並為長時間的多週運行保留專用容量。

現實世界的實施

前沿實驗室使用請求數百個節點的單一 sbatch 腳本在數千個 GPU 上啟動了為期數週的訓練。

一名研究人員提交「srun --gres=gpu:8」以在一個節點上取得 8 個 GPU 來進行 PyTorch DDP 實驗。

回填調度將一個簡短的評估作業插入空閒 GPU,同時大量保留的訓練運行等待開始。

節點在運作中失敗後,Slurm 會重新排隊作業,並從最新的檢查點恢復,而不是重新開始。

AI 訓練集群 Slurm 的未來

Slurm 繼續添加雲端爆發、透過 Pyxis 和 Enroot 的容器支援以及更嚴格的 GPU 感知功能。隨著 AI 叢集擴展到超過 100,000 個 GPU,預計會有更強的容錯能力、自動檢查點重啟整合以及在故障後調整大小的彈性作業。許多組織現在在 Kubernetes 旁邊或之下運行 Slurm,混合調度程序旨在將 HPC 式的效率與雲端原生的靈活性相結合,以實現更大規模的訓練運行。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 Slurm AI 訓練叢集測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 Slurm AI 訓練叢集?

Slurm 是一款開源工作負載管理器,可在高效能運算叢集上調度並運行作業,它已成為大型 AI 訓練的預設選擇。這很重要,因為它可以在數千個 GPU 上可靠地分配大量訓練運行。

使用者通常使用什麼指令向 Slurm 提交批次作業?

sbatch 將描述作業的資源和指令的批次腳本提交到 Slurm 佇列。

Slurm 作業如何請求 GPU?

通用資源 (GRES) 系統允許作業明確要求 GPU,例如 --gres=gpu:8。

哪個 Slurm 元件做出中央調度決策?

slurmctld 是調度作業的控制器守護進程,而 slurmd 在每個節點上運行以啟動任務。

為什麼 srun 能在 Slurm 分配內啟動分散式訓練任務?

srun 在分配內啟動任務步驟並顯示 Slurm 任務資訊;分散式框架仍可能需要明確的 rendezvous 設定。

Slurm中回填調度的目的為何?

回填透過將較小的作業放入調度間隙中來提高利用率,只要它們不推回保留的作業即可。