引導式測驗 · 中等 等級

AI 訓練叢集儲存測驗

將物件儲存、平行檔案系統與本機 NVMe 與 AI 訓練需求進行匹配,同時測量頻寬、中繼資料、快取與耐用性。

相關引導路徑AI 訓練叢集儲存
問題 1 的 8

為什麼許多小檔案會拖慢分散式訓練的資料存取速度?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼許多小檔案會拖慢分散式訓練的資料存取速度?
    • 當所有讀取皆為大型循序傳輸且已達到頻寬飽和時
    • 當模型核心已使 GPU 運算達到飽和時
    • 中繼資料與每個檔案的請求開銷可能會累積
    • 當優化器狀態佔用加速器記憶體時
  2. 哪種儲存類型通常是為了透過 API 對大型物件集合進行持久存取而設計的?
    • 透過類似 POSIX 介面公開檔案的平行檔案系統
    • 物件儲存
    • 由每個節點掛載的共用 NFS 磁碟區
    • 主機頁面快取
  3. 本機 NVMe 在訓練叢集中通常是如何使用的?
    • 作為每個節點的主要持久共用儲存庫
    • 具有原生 POSIX 語意的持久物件儲存
    • 作為所有運算節點上網路儲存的替代方案
    • 作為靠近運算單元的快速暫存快取或暫存區
  4. 為什麼要測量所有 GPU 的總體需求?
    • 叢集的讀取器可能會集體超過儲存吞吐量
    • 在其他閒置主機上測量的每個節點讀取速率
    • 未考慮讀取器並發性的平均資料集大小
    • 未測量讀取需求時的峰值磁碟容量
  5. 何時將資料集重新打包成較大的分片 (shard) 有所幫助?
    • 當資料傳輸受到循序讀取頻寬上限的限制時
    • 當 GPU 運算已飽和而輸入佇列仍保持滿載時
    • 當小檔案中繼資料與請求開銷限制了讀取速度時
    • 當加速器記憶體被最佳化工具狀態而非輸入讀取所消耗時
  6. 檢查點頻率涉及什麼權衡?
    • 檢查點資料量與 GPU 數量
    • 復原時間與儲存流量及暫停
    • 訓練標籤品質與讀取延遲
    • GPU 計算峰值與資料集授權
  7. 為什麼要區分檔案系統輸送量與詮釋資料效能?
    • 位元組頻寬是用來衡量檔案查詢與目錄操作的速率
    • 詮釋資料效能與大量位元組輸送量是相同的指標
    • 小檔案工作負載只會對網路頻寬造成壓力
    • 大型連續讀取和許多小檔案操作會對不同的路徑造成壓力
  8. 在重新啟動後依賴節點本機快取資料之前,應該檢查什麼?
    • 是否存在哪個資料集版本以及是否存在持久性複本
    • 本機快取永遠能在工作站替換後存活
    • 模型版本可確保快取的輸入是最新的
    • 快取識別碼證明備份已完成