引導式測驗 · 中等 等級

Logit 透鏡和調諧透鏡測驗

檢查中間層讀數、殘餘流結構、調諧透鏡轉換器以及原始 Logit 透鏡的限制。

問題 1 的 8

Logit鏡頭有什麼作用?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Logit鏡頭有什麼作用?
    • 將模型的最終去嵌入應用於中間隱藏狀態以讀取每層的預測
    • 在變壓器新增層
    • 消除模型的注意力
    • 在人類語言之間進行翻譯
  2. 與原始 Logit 鏡頭相比,調諧鏡頭增加了哪些關鍵改進?
    • 它使用了更大的詞彙量
    • 它訓練一個小的每層仿射圖,將隱藏狀態轉換為最終的基礎
    • 它消除了任何非嵌入的需要
    • 它僅適用於圖像模型
  3. 變壓器中的什麼結構使這些鏡頭成為可能?
    • 卷積濾波器
    • 分詞器
    • unembedding之後投影到logits的加性殘差流
    • 優化器的學習率
  4. 誰推出了最初的 Logit 鏡頭,大概是什麼時候推出的?
    • 2015年DeepMind
    • 2018 年OpenAI
    • 2012 年Google
    • 2020年懷舊數學家
  5. Logit鏡頭常常在哪裡顯示出最終答案「結晶」?
    • 中後期
    • 僅在第一層
    • 從來沒有,答案一下子就出現了
    • 完全在模型之外
  6. 為什麼原始 Logit 透鏡在早期層中可能不可靠?
    • 早期層沒有神經元
    • 它們的隱藏狀態尚未與非嵌入期望的最終輸出基礎保持一致
    • 早期層從不用於預測
    • 去嵌入矩陣是隨機的
  7. 模型的最後一個反嵌入(unembedding)將殘差流向量對應到什麼?
    • 一組新的 transformer 層
    • 訓練範例的相似度圖表
    • 可以轉換為權標機率的詞彙 logits
    • 梯度裁剪閾值
  8. 為什麼早期層的原始 logit-lens 預測可能會產生誤導?
    • 該層已經產生了完整的答案
    • 分詞器已被移除
    • 反嵌入僅適用於影像
    • 中間狀態可能尚未與最終輸出基礎對齊