引導式測驗 · 硬 等級

Gumbel-Softmax 和重新參數化測驗

測試分類採樣、可微鬆弛、Gumbel 雜訊、溫度、硬選擇和軟輸出的限制。

問題 1 的 8

為什麼分類樣本很難用普通的反向傳播來訓練?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼分類樣本很難用普通的反向傳播來訓練?
    • 類別分佈沒有機率
    • 離散選擇是一種不可微分的運算
    • 採樣會移除輸入張量
    • 所有類別具有相同的 Logits
  2. 重新參數化技巧的目的是什麼?
    • 從訓練中移除所有隨機性
    • 以標籤取代梯度
    • 在評估時將類別輸出連續化
    • 透過外部雜訊變數表達隨機性,同時保持可微分路徑
  3. Gumbel-Softmax 如何近似分類選擇?
    • 使用硬類別標籤作為梯度
    • 將輸入像素正規化
    • 對 Logits 加入 Gumbel 雜訊並套用受溫度控制的 Softmax
    • 對不相關的範例取 Logits 平均值
  4. 當溫度變大時,分佈會發生什麼變化?
    • 它在類別之間變得更平滑
    • 它變成一個精確的 One-hot 樣本
    • Logits 被捨棄
    • 它變得與 Gumbel 雜訊無關
  5. 當溫度接近零度時會發生什麼?
    • 輸出變得均勻
    • 雜訊變成了標籤
    • 該運算不再依賴 Logits
    • 輸出變得更銳利且更接近離散的 One-hot 選擇
  6. Gumbel-Max 技巧產生什麼?
    • 所有類別上的可微分平均值
    • 透過對 Logits 加入獨立的 Gumbel 雜訊並取 Argmax 來獲得精確的類別樣本
    • 無論 Logits 為何皆為均勻分佈
    • 來自標籤的梯度估計
  7. 為什麼 Gumbel-Softmax 在神經網路模型中很有用?
    • 它在訓練期間為離散選擇提供了可微分的鬆弛方法
    • 它使每個模型都具確定性
    • 它取代了所有隱藏層
    • 它保證所學習到的類別是正確的
  8. 關於低溫軟樣本,應該記住什麼?
    • 它永遠是真實標籤 (ground-truth label)
    • 它不再依賴機率
    • 它是一種接近離散的鬆弛,在每個訓練設定中不一定與硬性 argmax 完全相同
    • 它保證零估計偏差