引導式測驗 · 中等 等級
漸變裁切測驗
檢查差分私人訓練中的範數和值裁剪、方向保留、爆炸梯度控制和每個範例裁剪。
問題 1 的 8
在限制更新的同時,以範數裁剪梯度裁剪主要保留什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在限制更新的同時,以範數裁剪梯度裁剪主要保留什麼?
- 整體梯度更新的方向
- 每個坡度的確切大小
- 模型參數個數
- 學習率表
- 在閾值 c 的按範數剪輯中,當梯度範數 g_norm 超過 c 時會發生什麼?
- 梯度設定為零
- 每個梯度乘以 c / g_norm
- 訓練停止
- 學習率翻倍
- 梯度裁切是專門為了解決哪個問題而設計的?
- 梯度消失
- 數據加載緩慢
- 梯度爆炸
- 與驗證集過度擬合
- 按值剪輯與依規範剪輯有何不同?
- 它始終保留更新方向
- 它只適用於卷積層
- 它完全消除了漸變
- 它將每個梯度分量獨立地箝位到一個範圍內,這可以改變方向
- 一個微批次(minibatch)產生了異常大的全域梯度範數(gradient norm)。clip-by-norm 在優化器更新之前會做什麼?
- 當梯度範數超過設定的閾值時,將整個梯度向量按比例縮小至該閾值
- 更改模型的標籤
- 獨立捨棄每一個梯度分量
- 提高學習率直到損失恢復
- 在差分隱私訓練(DP-SGD)中,每個範例的梯度裁切發揮什麼作用?
- 它對資料進行加密
- 它限制了每個範例的影響,因此校準噪音可以確保隱私
- 它增加了批量大小
- 它消除了對損失函數的需要
- 全域梯度範數是剪裁閾值 c 的兩倍。梯度被縮放了多少倍?
- 兩個
- 四分之一
- 二分之一(c 除以 2c)
- 保持不變
- 為什麼 DP-SGD 在加入校準雜訊之前要先剪裁每個樣本的梯度?
- 使所有樣本具有相同的標籤
- 消除對隱私預算的的需求
- 增加罕見類別梯度的範數
- 限制單個樣本對發布更新的影響