引導式測驗 · 中等 等級

多工學習測驗

檢查硬任務和軟任務共享、加權目標、負遷移以及處理衝突任務梯度的方法。

相關引導路徑多工學習
問題 1 的 8

訓練時如何建立多工學習模型?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 訓練時如何建立多工學習模型?
    • 使用共享表示在多個相關任務上訓練一個模型
    • 為每項任務訓練單獨的模型
    • 僅對單一任務使用未標記的數據
    • 從網路中刪除所有隱藏層
  2. 在典型的硬參數共享 MTL 網路中,什麼是共享的,什麼是獨立的?
    • 每個任務的一切都是獨立的
    • 具有特定任務輸出頭的共享主幹
    • 僅共享損失函數
    • 只有輸入數據,沒有圖層
  3. 為什麼多工學習可以提高泛化能力?
    • 它消除了對任何數據的需要
    • 確保零訓練誤差
    • 來自相關任務的訊號規範了共享表示並減少過度擬合
    • 它消除了對特定任務頭的需要
  4. 什麼是多任務學習中的「負遷移」?
    • 當加入任務加速訓練時
    • 當模型參數太少時
    • 當所有任務共享相同標籤時
    • 當一項任務的學習因訊號衝突而損害另一項任務的表現時
  5. 多工學習中總體損失通常是如何形成的?
    • 作為單一任務損失的加權總和
    • 只取最大的任務損失
    • 忽略除一項任務之外的所有任務
    • 將損失相乘
  6. 為什麼大型語言模型本質上被認為是多工的?
    • 他們只能執行一項固定任務
    • 單一網路處理翻譯、摘要、編碼和問答
    • 他們為每個提示使用不同的模型
    • 他們從不跨任務共享參數
  7. 在軟參數共享中,任務模型通常是如何相關的?
    • 它們使用同一個完全相同的模型,且沒有針對特定任務的輸出
    • 它們不共享資訊,也無法交換特徵
    • 他們保持獨立參數,但加入限制或懲罰以鼓勵相似度
    • 他們只共享訓練標籤
  8. 當兩個任務梯度衝突時,PCGrad 會怎麼做?
    • 它會丟棄除最大的那個之外的所有任務
    • 它會改變任務標籤
    • 它會用獨立資料集取代共享骨幹
    • 它會在合併更新前投影掉衝突的梯度分量