引導式測驗 · 硬 等級
模型浮點運算效能利用率 (MFU) 測驗
計算和解釋 MFU,同時將模型 FLOP 與硬體活動、精確度峰值和依賴架構的計算區分開來。
問題 1 的 8
MFU 比較的是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- MFU 比較的是什麼?
- 測得的 GPU 忙碌時間除以峰值記憶體頻寬
- 模型參數數量除以峰值 FLOPs
- 估計的有效模型每秒 FLOPs 除以相容的峰值每秒 FLOPs
- Kernel 時間除以總優化器步驟時間
- MFU 計算的分母應該是什麼?
- 同一 GPU 的峰值記憶體頻寬
- 相關精度下的理論峰值每秒 FLOPs
- 來自系統監控器的 GPU 活動百分比
- 乘以吞吐量之前的每個 Token 模型 FLOPs
- 什麼因素會導致報告的 MFU 值無法比較?
- MFU 與算術精度無關
- 參數數量相同的模型必須具有相同的 MFU
- GPU 名稱決定了每個工作負載的相同 MFU
- 模型 FLOPs 計算方式與理論峰值慣例可能有所不同
- 簡化的 Token 吞吐量估算如何構成 MFU?
- 每個 Token 的 FLOPs 乘以每秒 Token 數,再除以每秒峰值 FLOPs
- 每個 Token 的模型 FLOPs 除以每秒 Token 數
- 峰值 FLOPs 除以模型每秒工作量
- 每秒 Token 數除以每秒峰值 FLOPs
- 報告的 GPU 忙碌時間為 100% 是否代表 MFU 為 100%?
- 是的,活動中的 Kernel 證明了所有峰值算術運算皆已使用
- 是的,記憶體活動等於張量運算
- 不是;活動可能包含記憶體停滯、通訊或 MFU 估算之外的工作
- 不是,因為 MFU 衡量的是模型準確度
- 為什麼已發布的 MFU 數值應被視為背景資訊,而非通用目標?
- MFU 與所使用的加速器無關
- 模型、硬體、精度與 FLOP 計算方式各不相同
- 參數數量相同即代表訓練 MFU 相同
- 已發布的比率適用於所有精度格式且無需調整
- 哪一組數據能直接顯示有效的訓練工作速率與多 GPU 擴展性?
- 僅 SM 活動與訓練步長時間
- 僅功耗與時脈頻率
- 僅訓練損失與驗證準確度
- 每秒處理 Token 數與多 GPU 擴展效率
- 若要進行可比較的 MFU 報告,應記錄哪些資訊?
- 精度、峰值來源、FLOP 公式、工作負載與測量窗口
- 僅加速器名稱與產品規格表上的峰值速率
- 僅達到的準確度與總訓練時間
- 僅步長時間,不包含 Token 吞吐量或模型 FLOP 假設