引導式測驗 · 硬 等級
Z-Loss 與訓練穩定性測驗
計算 z-loss 並區分 logits 正規化與預測品質,包含係數、穩定計算與 router-loss 限制。
問題 1 的 8
常見的 z-loss 項會懲罰哪一個數量?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 常見的 z-loss 項會懲罰哪一個數量?
- softmax 正規化常數的平方對數
- 訓練文件的數量
- 僅最大類別機率
- 檢查點檔案的大小
- 在精確算術中,當每個 logit 加上相同的常數時,softmax 機率會發生什麼事?
- 它們全都變成零
- 它們保持不變
- 它們對每個輸入都呈現均勻分佈
- 輸出類別的數量加倍
- 對於 logits [0, 0],未加權的 z-loss 是多少?
- 0
- 2
- (ln 2)²,大約 0.48045
- 1/2
- 哪一對相等的 logit 會產生 Z = 1 且 z-loss 為零?
- [0, 0]
- [1, 1]
- [ln 2, ln 2]
- [−ln 2, −ln 2]
- 零 z-loss 是否表示分類器預測了正確答案?
- 否;它描述的是正規化,而不是預測分佈是否符合目標
- 是;零輔助損失意味著每個類別預測都是正確的
- 是;所有 logits 之後必須與標籤相符
- 只有在模型使用兩個類別時
- 為什麼計算應該使用穩定的 logsumexp 實作?
- 強迫每個機率都相等
- 避免直接對非常大的 logits 進行指數運算
- 消除對主要任務損失的需求
- 將所有輸入轉換為整數
- 在 MoE 路由器中,z-loss 與負載平衡輔助損失有何不同?
- 兩者都能保證相同的專家利用率
- z-loss 總是取代路由演算法
- z-loss 控制對數正規化量;負載平衡處理專家使用情況
- 負載平衡僅控制輸出詞彙大小
- 哪種評估最能測試加入 z-loss 是否有助於訓練設定?
- 僅檢查輔助值是否下降
- 假設已發表的係數可保證穩定性
- 一旦訓練開始運行,就停止測量主要任務
- 在分別追蹤主要損失和輔助損失的同時,比較穩定性和保留任務品質