引導式測驗 · 硬 等級

清晰度感知最小化測驗

檢查 SAM 的兩遍更新、其鄰域半徑、擾動權重梯度以及平坦度和計算之間的權衡。

相關引導路徑銳利度感知最小化
問題 1 的 8

SAM 試著找出什麼樣的最小值?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. SAM 試著找出什麼樣的最小值?
    • 一個平坦的最小值,其中權重鄰域內的損失保持在較低水平
    • 盡可能銳利的最小值
    • 參數最多的最小值
    • 一步可達到的任何最小值
  2. 標準 SAM 步驟需要多少次前後傳球?
    • 半關
    • 大約兩個
    • 正好一個
    • 十個或更多
  3. SAM 中半徑超參數 rho 控制什麼?
    • 學習率衰減速度
    • 訓練紀元數
    • 防止損失峰值的權重周圍鄰域的大小
    • 輟學機率
  4. SAM 每次迭代的兩個步驟中的第一個步驟是什麼?
    • 縮小模型
    • 平均過去所有步驟的權重
    • 重置優化器狀態
    • 向最壞情況附近點採取 rho 大小的上升步長
  5. 為什麼 SAM 通常可以提高對標籤雜訊的穩健性?
    • 因為平坦的最小值不太容易記住損壞的標籤
    • 因為它會自動刪除吵雜的標籤
    • 因為它使用的詞彙量較大
    • 因為它使批量大小增加了三倍
  6. 其中哪一個是旨在降低 SAM 計算成本的變體?
    • ReLU
    • ESAM(高效率 SAM)
    • 批歸一化
    • 阿達格勒
  7. In SAM’s second pass, which gradient is used to update the original model weights?
    • The gradient of a random label
    • The first pass gradient without evaluating the perturbed point
    • The gradient evaluated at the perturbed nearby weights
    • A gradient from a different model checkpoint
  8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
    • The model parameters are all set to zero
    • The loss becomes independent of the weights
    • The optimizer takes an infinite step
    • There is no weight perturbation, so the neighborhood reduces to the current point