引導式測驗 · 硬 等級
清晰度感知最小化測驗
檢查 SAM 的兩遍更新、其鄰域半徑、擾動權重梯度以及平坦度和計算之間的權衡。
問題 1 的 8
SAM 試著找出什麼樣的最小值?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- SAM 試著找出什麼樣的最小值?
- 一個平坦的最小值,其中權重鄰域內的損失保持在較低水平
- 盡可能銳利的最小值
- 參數最多的最小值
- 一步可達到的任何最小值
- 標準 SAM 步驟需要多少次前後傳球?
- 半關
- 大約兩個
- 正好一個
- 十個或更多
- SAM 中半徑超參數 rho 控制什麼?
- 學習率衰減速度
- 訓練紀元數
- 防止損失峰值的權重周圍鄰域的大小
- 輟學機率
- SAM 每次迭代的兩個步驟中的第一個步驟是什麼?
- 縮小模型
- 平均過去所有步驟的權重
- 重置優化器狀態
- 向最壞情況附近點採取 rho 大小的上升步長
- 為什麼 SAM 通常可以提高對標籤雜訊的穩健性?
- 因為平坦的最小值不太容易記住損壞的標籤
- 因為它會自動刪除吵雜的標籤
- 因為它使用的詞彙量較大
- 因為它使批量大小增加了三倍
- 其中哪一個是旨在降低 SAM 計算成本的變體?
- ReLU
- ESAM(高效率 SAM)
- 批歸一化
- 阿達格勒
- In SAM’s second pass, which gradient is used to update the original model weights?
- The gradient of a random label
- The first pass gradient without evaluating the perturbed point
- The gradient evaluated at the perturbed nearby weights
- A gradient from a different model checkpoint
- If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
- The model parameters are all set to zero
- The loss becomes independent of the weights
- The optimizer takes an infinite step
- There is no weight perturbation, so the neighborhood reduces to the current point