引導式測驗 · 硬 等級
神經正切核理論測驗
測試神經正切內核如何在線上性化限制下將無限寬度網路訓練與內核方法和函數空間動力學聯繫起來。
問題 1 的 8
在無限寬度限制下,神經正切核在訓練過程中表現如何?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在無限寬度限制下,神經正切核在訓練過程中表現如何?
- 它基本上保持不變
- 每一步都變化很快
- 就變成零了
- 它呈指數級增長
- NTK在數學上是什麼?
- 損失的黑森州
- 兩個輸入的網路參數梯度的內積
- 輸出的softmax
- 權重的方差
- 誰引入了神經正切內核?
- 辛頓和薩拉胡迪諾夫
- LeCun 和 Bengio
- 賈科特、加布里埃爾和洪勒 (2018)
- 瓦斯瓦尼和同事
- 什麼是「懶惰訓練」制度?
- 當訓練暫停時
- 當優化器不使用動量時
- 當資料緩慢輸入時
- 當參數幾乎沒有從初始化變化並且網路表現線性時
- NTK 理論對於真實網路的一個關鍵限制是它忽略了:
- 有限寬度網路中的特徵學習
- 梯度下降的作用
- 權重的存在
- 訓練資料的使用
- 因為 NTK 將訓練減少為內核回歸,所以什麼變得可能?
- 無需任何數據
- 在沒有充分訓練的情況下預測訓練輸出
- 不含參數運行模型
- 始終保證零測試誤差
- In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
- 隱馬可夫模型
- 決策樹集成
- A Gaussian process
- A finite-state game controller
- For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
- A discrete rule that randomly changes labels
- A decision tree that grows one branch per epoch
- A nonlinear search over audio frames
- A linear differential equation in function space