引導式測驗 · 中等 等級

多任務網路測驗中的硬參數共享

測試共享主幹、任務頭、軟共享對比、損失權重、梯度競爭和特定任務評估。

問題 1 的 8

什麼是硬參數共享 (hard parameter sharing)?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 什麼是硬參數共享 (hard parameter sharing)?
    • 每個任務都有一個獨立的完整網路,並帶有相似性懲罰
    • 任務共享標籤,但不共享模型參數
    • 一個輸出頭預測所有任務,且不區分任務身份
    • 任務共享一個共同的隱藏主幹 (hidden trunk),並使用特定於任務的輸出頭
  2. 硬共享與軟參數共享 (soft parameter sharing) 有何不同?
    • 軟共享保留獨立的任務參數,並鼓勵它們保持相似
    • 軟共享總是使用一個共享主幹
    • 硬共享不儲存任何參數
    • 這兩個術語指的是相同的架構
  3. 為什麼硬共享可以減少相關任務的過度擬合 (overfitting)?
    • 每個任務獲得更多獨立的參數
    • 共享層學習到的特徵必須服務於多個任務
    • 模型避免了訓練數據
    • 所有任務被迫使用相同的輸出標籤
  4. 在聯合訓練中,任務損失通常是如何組合的?
    • 透過選擇一個任務並忽略其他任務
    • 透過對跨任務的標籤進行平均
    • 作為共享目標函數中的加權總和
    • 透過僅使用最小的損失
  5. 如果一個任務的損失或梯度佔據主導地位,會發生什麼?
    • 所有任務頭都會消失
    • 任務變得獨立
    • 模型會自動平衡每個梯度
    • 共享主幹可能會優先處理該任務,而其他任務則被忽略
  6. 什麼時候最適合使用硬參數共享(hard parameter sharing)?
    • 當任務可以從有用的共享表示中受益時
    • 當每個任務都毫無關聯且不相容時
    • 當某個任務絕不能影響另一個任務時
    • 當只有一個任務時
  7. 任務專用標頭(task-specific head)通常做什麼?
    • 儲存所有訓練範例
    • 將共享特徵對應到該任務的輸出
    • 平衡所有其他任務的梯度
    • 為每個 token 選擇要使用的隱藏主幹(hidden trunk)
  8. 訓練多任務模型時應該監控什麼?
    • 僅總參數數量
    • 僅最大任務的準確率
    • 每個任務的效能,以及共享更新是有助於還是損害每個任務
    • 單獨的輸出標頭數量