引導式測驗 · 硬 等級

Z-Loss 與訓練穩定性測驗

計算 z-loss 並區分 logits 正規化與預測品質,包含係數、穩定計算與 router-loss 限制。

相關引導路徑Z Loss 與訓練穩定性
問題 1 的 8

常見的 z-loss 項會懲罰哪一個數量?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 常見的 z-loss 項會懲罰哪一個數量?
    • softmax 正規化常數的平方對數
    • 訓練文件的數量
    • 僅最大類別機率
    • 檢查點檔案的大小
  2. 在精確算術中,當每個 logit 加上相同的常數時,softmax 機率會發生什麼事?
    • 它們全都變成零
    • 它們保持不變
    • 它們對每個輸入都呈現均勻分佈
    • 輸出類別的數量加倍
  3. 對於 logits [0, 0],未加權的 z-loss 是多少?
    • 0
    • 2
    • (ln 2)²,大約 0.48045
    • 1/2
  4. 哪一對相等的 logit 會產生 Z = 1 且 z-loss 為零?
    • [0, 0]
    • [1, 1]
    • [ln 2, ln 2]
    • [−ln 2, −ln 2]
  5. 零 z-loss 是否表示分類器預測了正確答案?
    • 否;它描述的是正規化,而不是預測分佈是否符合目標
    • 是;零輔助損失意味著每個類別預測都是正確的
    • 是;所有 logits 之後必須與標籤相符
    • 只有在模型使用兩個類別時
  6. 為什麼計算應該使用穩定的 logsumexp 實作?
    • 強迫每個機率都相等
    • 避免直接對非常大的 logits 進行指數運算
    • 消除對主要任務損失的需求
    • 將所有輸入轉換為整數
  7. 在 MoE 路由器中,z-loss 與負載平衡輔助損失有何不同?
    • 兩者都能保證相同的專家利用率
    • z-loss 總是取代路由演算法
    • z-loss 控制對數正規化量;負載平衡處理專家使用情況
    • 負載平衡僅控制輸出詞彙大小
  8. 哪種評估最能測試加入 z-loss 是否有助於訓練設定?
    • 僅檢查輔助值是否下降
    • 假設已發表的係數可保證穩定性
    • 一旦訓練開始運行,就停止測量主要任務
    • 在分別追蹤主要損失和輔助損失的同時,比較穩定性和保留任務品質