引導式測驗 · 中等 等級
測試時培訓測驗
比較測試時間適應和 TTT 序列層,包括自監督損失、內部模型狀態、線性縮放和外循環學習。
問題 1 的 8
在主要預測之前,引用的經典測試時間訓練適應程式會發生什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在主要預測之前,引用的經典測試時間訓練適應程式會發生什麼?
- 提供未知的主要任務標籤作為正確的訓練目標
- 模型必須刪除所有參數
- 每個早期的訓練範例都會在不進行調整的情況下重新加載
- 使用傳入的未標記樣本更新模型參數
- 為什麼經典 TTT 依賴自我監督的輔助任務?
- 因為自我監督總是比主要任務更準確
- 因為標籤在測試時不可用,所以它需要一個可以在沒有標籤的情況下計算的損失
- 因為它消除了對任何神經網路的需要
- 對測試資料進行加密
- 什麼形成了 TTT 序列層的循環隱藏狀態?
- 透過學習更新內部模型的參數
- 只有不變的原始輸入檔名
- 之前所有完整注意力矩陣的強制列表
- 詞彙按字母順序排列
- 在固定的內部模型維度和更新工作下,TTT 序列層複雜度如何隨序列長度縮放?
- 對於每一個可能的實現都是二次方
- 獨立於處理任何令牌
- 序列長度呈線性
- 呈指數增長,因為每個令牌都會從所有可能的序列中重新訓練
- 是什麼問題引發了所引用的經典測試時間適應研究?
- 增加字母大小的要求
- 訓練和測試輸入分佈之間的差異
- 保證所有部署輸入與訓練相匹配
- 需要更快地對來源檔案名稱進行排序
- 為什麼輔助適應損失的減少本身不足以建立成功的主任務更新?
- 每個輔助損失都是未知的主標籤精度
- 損失值證明了未來每個樣本的完美安全性
- 輔助目標與預期預測措施不同
- 無法在未標記的輸入上計算輔助任務
- 什麼內部模型區分所研究的 TTT-Linear 和 TTT-MLP 層變體?
- 決策樹和強制圖像標記器
- 相同固定字典的兩份副本,不含參數
- 完整的歷史關注矩陣和字母索引
- 線性模型與兩層多層感知器
- 在序列層框架中,哪一個循環學習定義內部自監督任務的參數?
- 外層訓練循環
- 只有未知的未來測試標籤
- 每個標記都需要手動編輯字典
- 兩個循環都無法學習任何任務參數