引導式測驗 · 中等 等級

測試時培訓測驗

比較測試時間適應和 TTT 序列層,包括自監督損失、內部模型狀態、線性縮放和外循環學習。

相關引導路徑測試時間訓練
問題 1 的 8

在主要預測之前,引用的經典測試時間訓練適應程式會發生什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在主要預測之前,引用的經典測試時間訓練適應程式會發生什麼?
    • 提供未知的主要任務標籤作為正確的訓練目標
    • 模型必須刪除所有參數
    • 每個早期的訓練範例都會在不進行調整的情況下重新加載
    • 使用傳入的未標記樣本更新模型參數
  2. 為什麼經典 TTT 依賴自我監督的輔助任務?
    • 因為自我監督總是比主要任務更準確
    • 因為標籤在測試時不可用,所以它需要一個可以在沒有標籤的情況下計算的損失
    • 因為它消除了對任何神經網路的需要
    • 對測試資料進行加密
  3. 什麼形成了 TTT 序列層的循環隱藏狀態?
    • 透過學習更新內部模型的參數
    • 只有不變的原始輸入檔名
    • 之前所有完整注意力矩陣的強制列表
    • 詞彙按字母順序排列
  4. 在固定的內部模型維度和更新工作下,TTT 序列層複雜度如何隨序列長度縮放?
    • 對於每一個可能的實現都是二次方
    • 獨立於處理任何令牌
    • 序列長度呈線性
    • 呈指數增長,因為每個令牌都會從所有可能的序列中重新訓練
  5. 是什麼問題引發了所引用的經典測試時間適應研究?
    • 增加字母大小的要求
    • 訓練和測試輸入分佈之間的差異
    • 保證所有部署輸入與訓練相匹配
    • 需要更快地對來源檔案名稱進行排序
  6. 為什麼輔助適應損失的減少本身不足以建立成功的主任務更新?
    • 每個輔助損失都是未知的主標籤精度
    • 損失值證明了未來每個樣本的完美安全性
    • 輔助目標與預期預測措施不同
    • 無法在未標記的輸入上計算輔助任務
  7. 什麼內部模型區分所研究的 TTT-Linear 和 TTT-MLP 層變體?
    • 決策樹和強制圖像標記器
    • 相同固定字典的兩份副本,不含參數
    • 完整的歷史關注矩陣和字母索引
    • 線性模型與兩層多層感知器
  8. 在序列層框架中,哪一個循環學習定義內部自監督任務的參數?
    • 外層訓練循環
    • 只有未知的未來測試標籤
    • 每個標記都需要手動編輯字典
    • 兩個循環都無法學習任何任務參數