引導式測驗 · 中等 等級

漸變裁切測驗

檢查差分私人訓練中的範數和值裁剪、方向保留、爆炸梯度控制和每個範例裁剪。

相關引導路徑漸層剪裁
問題 1 的 8

在限制更新的同時,以範數裁剪梯度裁剪主要保留什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在限制更新的同時,以範數裁剪梯度裁剪主要保留什麼?
    • 整體梯度更新的方向
    • 每個坡度的確切大小
    • 模型參數個數
    • 學習率表
  2. 在閾值 c 的按範數剪輯中,當梯度範數 g_norm 超過 c 時會發生什麼?
    • 梯度設定為零
    • 每個梯度乘以 c / g_norm
    • 訓練停止
    • 學習率翻倍
  3. 梯度裁切是專門為了解決哪個問題而設計的?
    • 梯度消失
    • 數據加載緩慢
    • 梯度爆炸
    • 與驗證集過度擬合
  4. 按值剪輯與依規範剪輯有何不同?
    • 它始終保留更新方向
    • 它只適用於卷積層
    • 它完全消除了漸變
    • 它將每個梯度分量獨立地箝位到一個範圍內,這可以改變方向
  5. 一個微批次(minibatch)產生了異常大的全域梯度範數(gradient norm)。clip-by-norm 在優化器更新之前會做什麼?
    • 當梯度範數超過設定的閾值時,將整個梯度向量按比例縮小至該閾值
    • 更改模型的標籤
    • 獨立捨棄每一個梯度分量
    • 提高學習率直到損失恢復
  6. 在差分隱私訓練(DP-SGD)中,每個範例的梯度裁切發揮什麼作用?
    • 它對資料進行加密
    • 它限制了每個範例的影響,因此校準噪音可以確保隱私
    • 它增加了批量大小
    • 它消除了對損失函數的需要
  7. 全域梯度範數是剪裁閾值 c 的兩倍。梯度被縮放了多少倍?
    • 兩個
    • 四分之一
    • 二分之一(c 除以 2c)
    • 保持不變
  8. 為什麼 DP-SGD 在加入校準雜訊之前要先剪裁每個樣本的梯度?
    • 使所有樣本具有相同的標籤
    • 消除對隱私預算的的需求
    • 增加罕見類別梯度的範數
    • 限制單個樣本對發布更新的影響