引導式測驗 · 硬 等級
訓練資料歸因測驗的影響函數
檢查影響函數反事實、Hessian 近似、影響符號的意思和語言模型中的資料歸因。
問題 1 的 8
影響函數近似什麼反事實問題?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 影響函數近似什麼反事實問題?
- 如果刪除或增加訓練範例,測試點的損失將如何變化
- 模型的平均準確度如何
- 模型訓練的速度有多快
- 模型有幾個參數
- 哪個數學物件使得大型模型的精確影響計算變得困難?
- Softmax函數
- 損失的逆 Hessian 矩陣
- 學習率表
- 批量大小
- 誰在 2017 年的一篇著名論文中將影響函數應用於現代深度學習?
- 古德費洛和本吉奧
- 瓦斯瓦尼等人。
- 許和樑
- 辛頓和勒昆
- 根據 Koh 與 Liang 的標準 I_up,loss 約定,負值代表什麼?
- The point was not in the training data
- Upweighting the point is estimated to increase test loss
- The point has no relationship to the test example
- Upweighting the point is estimated to lower test loss, so it is helpful
- Anthropic 使用哪一種近似值將影響函數擴展到大型語言模型?
- EK-FAC(克羅內克因子曲率)
- 輟學
- 集束搜尋
- 混合
- Anthropic 的大規模研究在有影響力的例子中發現了什麼?
- 它們始終是輸出的精確副本
- 他們經常共享抽像模式而不是相同的措辭
- 它們是隨機分佈的
- 只有第一個訓練範例很重要
- In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
- The test set’s token count
- A random forest over training labels
- The inverse Hessian of the training loss
- The model’s output vocabulary size
- If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
- It was guaranteed to be a duplicate
- It had no relationship to the model
- It necessarily caused the model to overfit
- It had a helpful influence on that test point under the approximation