引導式測驗 · 中等 等級
多任務網路測驗中的硬參數共享
測試共享主幹、任務頭、軟共享對比、損失權重、梯度競爭和特定任務評估。
問題 1 的 8
什麼是硬參數共享 (hard parameter sharing)?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 什麼是硬參數共享 (hard parameter sharing)?
- 每個任務都有一個獨立的完整網路,並帶有相似性懲罰
- 任務共享標籤,但不共享模型參數
- 一個輸出頭預測所有任務,且不區分任務身份
- 任務共享一個共同的隱藏主幹 (hidden trunk),並使用特定於任務的輸出頭
- 硬共享與軟參數共享 (soft parameter sharing) 有何不同?
- 軟共享保留獨立的任務參數,並鼓勵它們保持相似
- 軟共享總是使用一個共享主幹
- 硬共享不儲存任何參數
- 這兩個術語指的是相同的架構
- 為什麼硬共享可以減少相關任務的過度擬合 (overfitting)?
- 每個任務獲得更多獨立的參數
- 共享層學習到的特徵必須服務於多個任務
- 模型避免了訓練數據
- 所有任務被迫使用相同的輸出標籤
- 在聯合訓練中,任務損失通常是如何組合的?
- 透過選擇一個任務並忽略其他任務
- 透過對跨任務的標籤進行平均
- 作為共享目標函數中的加權總和
- 透過僅使用最小的損失
- 如果一個任務的損失或梯度佔據主導地位,會發生什麼?
- 所有任務頭都會消失
- 任務變得獨立
- 模型會自動平衡每個梯度
- 共享主幹可能會優先處理該任務,而其他任務則被忽略
- 什麼時候最適合使用硬參數共享(hard parameter sharing)?
- 當任務可以從有用的共享表示中受益時
- 當每個任務都毫無關聯且不相容時
- 當某個任務絕不能影響另一個任務時
- 當只有一個任務時
- 任務專用標頭(task-specific head)通常做什麼?
- 儲存所有訓練範例
- 將共享特徵對應到該任務的輸出
- 平衡所有其他任務的梯度
- 為每個 token 選擇要使用的隱藏主幹(hidden trunk)
- 訓練多任務模型時應該監控什麼?
- 僅總參數數量
- 僅最大任務的準確率
- 每個任務的效能,以及共享更新是有助於還是損害每個任務
- 單獨的輸出標頭數量