引導式測驗 · 硬 等級
Gumbel-Softmax 和重新參數化測驗
測試分類採樣、可微鬆弛、Gumbel 雜訊、溫度、硬選擇和軟輸出的限制。
問題 1 的 8
為什麼分類樣本很難用普通的反向傳播來訓練?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼分類樣本很難用普通的反向傳播來訓練?
- 類別分佈沒有機率
- 離散選擇是一種不可微分的運算
- 採樣會移除輸入張量
- 所有類別具有相同的 Logits
- 重新參數化技巧的目的是什麼?
- 從訓練中移除所有隨機性
- 以標籤取代梯度
- 在評估時將類別輸出連續化
- 透過外部雜訊變數表達隨機性,同時保持可微分路徑
- Gumbel-Softmax 如何近似分類選擇?
- 使用硬類別標籤作為梯度
- 將輸入像素正規化
- 對 Logits 加入 Gumbel 雜訊並套用受溫度控制的 Softmax
- 對不相關的範例取 Logits 平均值
- 當溫度變大時,分佈會發生什麼變化?
- 它在類別之間變得更平滑
- 它變成一個精確的 One-hot 樣本
- Logits 被捨棄
- 它變得與 Gumbel 雜訊無關
- 當溫度接近零度時會發生什麼?
- 輸出變得均勻
- 雜訊變成了標籤
- 該運算不再依賴 Logits
- 輸出變得更銳利且更接近離散的 One-hot 選擇
- Gumbel-Max 技巧產生什麼?
- 所有類別上的可微分平均值
- 透過對 Logits 加入獨立的 Gumbel 雜訊並取 Argmax 來獲得精確的類別樣本
- 無論 Logits 為何皆為均勻分佈
- 來自標籤的梯度估計
- 為什麼 Gumbel-Softmax 在神經網路模型中很有用?
- 它在訓練期間為離散選擇提供了可微分的鬆弛方法
- 它使每個模型都具確定性
- 它取代了所有隱藏層
- 它保證所學習到的類別是正確的
- 關於低溫軟樣本,應該記住什麼?
- 它永遠是真實標籤 (ground-truth label)
- 它不再依賴機率
- 它是一種接近離散的鬆弛,在每個訓練設定中不一定與硬性 argmax 完全相同
- 它保證零估計偏差