引導式測驗 · 中等 等級
AI 訓練叢集儲存測驗
將物件儲存、平行檔案系統與本機 NVMe 與 AI 訓練需求進行匹配,同時測量頻寬、中繼資料、快取與耐用性。
問題 1 的 8
為什麼許多小檔案會拖慢分散式訓練的資料存取速度?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼許多小檔案會拖慢分散式訓練的資料存取速度?
- 當所有讀取皆為大型循序傳輸且已達到頻寬飽和時
- 當模型核心已使 GPU 運算達到飽和時
- 中繼資料與每個檔案的請求開銷可能會累積
- 當優化器狀態佔用加速器記憶體時
- 哪種儲存類型通常是為了透過 API 對大型物件集合進行持久存取而設計的?
- 透過類似 POSIX 介面公開檔案的平行檔案系統
- 物件儲存
- 由每個節點掛載的共用 NFS 磁碟區
- 主機頁面快取
- 本機 NVMe 在訓練叢集中通常是如何使用的?
- 作為每個節點的主要持久共用儲存庫
- 具有原生 POSIX 語意的持久物件儲存
- 作為所有運算節點上網路儲存的替代方案
- 作為靠近運算單元的快速暫存快取或暫存區
- 為什麼要測量所有 GPU 的總體需求?
- 叢集的讀取器可能會集體超過儲存吞吐量
- 在其他閒置主機上測量的每個節點讀取速率
- 未考慮讀取器並發性的平均資料集大小
- 未測量讀取需求時的峰值磁碟容量
- 何時將資料集重新打包成較大的分片 (shard) 有所幫助?
- 當資料傳輸受到循序讀取頻寬上限的限制時
- 當 GPU 運算已飽和而輸入佇列仍保持滿載時
- 當小檔案中繼資料與請求開銷限制了讀取速度時
- 當加速器記憶體被最佳化工具狀態而非輸入讀取所消耗時
- 檢查點頻率涉及什麼權衡?
- 檢查點資料量與 GPU 數量
- 復原時間與儲存流量及暫停
- 訓練標籤品質與讀取延遲
- GPU 計算峰值與資料集授權
- 為什麼要區分檔案系統輸送量與詮釋資料效能?
- 位元組頻寬是用來衡量檔案查詢與目錄操作的速率
- 詮釋資料效能與大量位元組輸送量是相同的指標
- 小檔案工作負載只會對網路頻寬造成壓力
- 大型連續讀取和許多小檔案操作會對不同的路徑造成壓力
- 在重新啟動後依賴節點本機快取資料之前,應該檢查什麼?
- 是否存在哪個資料集版本以及是否存在持久性複本
- 本機快取永遠能在工作站替換後存活
- 模型版本可確保快取的輸入是最新的
- 快取識別碼證明備份已完成