引導式測驗 · 硬 等級

訓練資料歸因測驗的影響函數

檢查影響函數反事實、Hessian 近似、影響符號的意思和語言模型中的資料歸因。

問題 1 的 8

影響函數近似什麼反事實問題?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 影響函數近似什麼反事實問題?
    • 如果刪除或增加訓練範例,測試點的損失將如何變化
    • 模型的平均準確度如何
    • 模型訓練的速度有多快
    • 模型有幾個參數
  2. 哪個數學物件使得大型模型的精確影響計算變得困難?
    • Softmax函數
    • 損失的逆 Hessian 矩陣
    • 學習率表
    • 批量大小
  3. 誰在 2017 年的一篇著名論文中將影響函數應用於現代深度學習?
    • 古德費洛和本吉奧
    • 瓦斯瓦尼等人。
    • 許和樑
    • 辛頓和勒昆
  4. 根據 Koh 與 Liang 的標準 I_up,loss 約定,負值代表什麼?
    • The point was not in the training data
    • Upweighting the point is estimated to increase test loss
    • The point has no relationship to the test example
    • Upweighting the point is estimated to lower test loss, so it is helpful
  5. Anthropic 使用哪一種近似值將影響函數擴展到大型語言模型?
    • EK-FAC(克羅內克因子曲率)
    • 輟學
    • 集束搜尋
    • 混合
  6. Anthropic 的大規模研究在有影響力的例子中發現了什麼?
    • 它們始終是輸出的精確副本
    • 他們經常共享抽像模式而不是相同的措辭
    • 它們是隨機分佈的
    • 只有第一個訓練範例很重要
  7. In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
    • The test set’s token count
    • A random forest over training labels
    • The inverse Hessian of the training loss
    • The model’s output vocabulary size
  8. If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
    • It was guaranteed to be a duplicate
    • It had no relationship to the model
    • It necessarily caused the model to overfit
    • It had a helpful influence on that test point under the approximation