引導式測驗 · 硬 等級

模型浮點運算效能利用率 (MFU) 測驗

計算和解釋 MFU,同時將模型 FLOP 與硬體活動、精確度峰值和依賴架構的計算區分開來。

問題 1 的 8

MFU 比較的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. MFU 比較的是什麼?
    • 測得的 GPU 忙碌時間除以峰值記憶體頻寬
    • 模型參數數量除以峰值 FLOPs
    • 估計的有效模型每秒 FLOPs 除以相容的峰值每秒 FLOPs
    • Kernel 時間除以總優化器步驟時間
  2. MFU 計算的分母應該是什麼?
    • 同一 GPU 的峰值記憶體頻寬
    • 相關精度下的理論峰值每秒 FLOPs
    • 來自系統監控器的 GPU 活動百分比
    • 乘以吞吐量之前的每個 Token 模型 FLOPs
  3. 什麼因素會導致報告的 MFU 值無法比較?
    • MFU 與算術精度無關
    • 參數數量相同的模型必須具有相同的 MFU
    • GPU 名稱決定了每個工作負載的相同 MFU
    • 模型 FLOPs 計算方式與理論峰值慣例可能有所不同
  4. 簡化的 Token 吞吐量估算如何構成 MFU?
    • 每個 Token 的 FLOPs 乘以每秒 Token 數,再除以每秒峰值 FLOPs
    • 每個 Token 的模型 FLOPs 除以每秒 Token 數
    • 峰值 FLOPs 除以模型每秒工作量
    • 每秒 Token 數除以每秒峰值 FLOPs
  5. 報告的 GPU 忙碌時間為 100% 是否代表 MFU 為 100%?
    • 是的,活動中的 Kernel 證明了所有峰值算術運算皆已使用
    • 是的,記憶體活動等於張量運算
    • 不是;活動可能包含記憶體停滯、通訊或 MFU 估算之外的工作
    • 不是,因為 MFU 衡量的是模型準確度
  6. 為什麼已發布的 MFU 數值應被視為背景資訊,而非通用目標?
    • MFU 與所使用的加速器無關
    • 模型、硬體、精度與 FLOP 計算方式各不相同
    • 參數數量相同即代表訓練 MFU 相同
    • 已發布的比率適用於所有精度格式且無需調整
  7. 哪一組數據能直接顯示有效的訓練工作速率與多 GPU 擴展性?
    • 僅 SM 活動與訓練步長時間
    • 僅功耗與時脈頻率
    • 僅訓練損失與驗證準確度
    • 每秒處理 Token 數與多 GPU 擴展效率
  8. 若要進行可比較的 MFU 報告,應記錄哪些資訊?
    • 精度、峰值來源、FLOP 公式、工作負載與測量窗口
    • 僅加速器名稱與產品規格表上的峰值速率
    • 僅達到的準確度與總訓練時間
    • 僅步長時間,不包含 Token 吞吐量或模型 FLOP 假設