引導式測驗 · 中等 等級
Logit 透鏡和調諧透鏡測驗
檢查中間層讀數、殘餘流結構、調諧透鏡轉換器以及原始 Logit 透鏡的限制。
問題 1 的 8
Logit鏡頭有什麼作用?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- Logit鏡頭有什麼作用?
- 將模型的最終去嵌入應用於中間隱藏狀態以讀取每層的預測
- 在變壓器新增層
- 消除模型的注意力
- 在人類語言之間進行翻譯
- 與原始 Logit 鏡頭相比,調諧鏡頭增加了哪些關鍵改進?
- 它使用了更大的詞彙量
- 它訓練一個小的每層仿射圖,將隱藏狀態轉換為最終的基礎
- 它消除了任何非嵌入的需要
- 它僅適用於圖像模型
- 變壓器中的什麼結構使這些鏡頭成為可能?
- 卷積濾波器
- 分詞器
- unembedding之後投影到logits的加性殘差流
- 優化器的學習率
- 誰推出了最初的 Logit 鏡頭,大概是什麼時候推出的?
- 2015年DeepMind
- 2018 年OpenAI
- 2012 年Google
- 2020年懷舊數學家
- Logit鏡頭常常在哪裡顯示出最終答案「結晶」?
- 中後期
- 僅在第一層
- 從來沒有,答案一下子就出現了
- 完全在模型之外
- 為什麼原始 Logit 透鏡在早期層中可能不可靠?
- 早期層沒有神經元
- 它們的隱藏狀態尚未與非嵌入期望的最終輸出基礎保持一致
- 早期層從不用於預測
- 去嵌入矩陣是隨機的
- 模型的最後一個反嵌入(unembedding)將殘差流向量對應到什麼?
- 一組新的 transformer 層
- 訓練範例的相似度圖表
- 可以轉換為權標機率的詞彙 logits
- 梯度裁剪閾值
- 為什麼早期層的原始 logit-lens 預測可能會產生誤導?
- 該層已經產生了完整的答案
- 分詞器已被移除
- 反嵌入僅適用於影像
- 中間狀態可能尚未與最終輸出基礎對齊