概述
結果取決於架構、分詞器、基礎檢查點、合併配方與評估;合併並不保證功能能順利結合。
深入探討
模型合併會將已訓練模型的參數結合,通常透過平均權重或操作任務向量——即微調檢查點與其基礎模型之間的差異。Task arithmetic、TIES、DARE 等方法可在不重新執行梯度訓練或使用原始訓練資料的情況下產生合併檢查點。許多方法假設架構、參數布局與基礎模型相匹配。TIES 會修剪小幅變化、解決符號衝突並合併對齊的更新;DARE 則在合併前隨機丟棄並重新縮放任務向量條目。這些程序可減少某些干擾,但不保證模型更強:任務表現可能下降,且合併係數或檢查點相容性需測試。請在每個目標任務上評估實際合併產物,並保留所有輸入的來源與授權。
現實世界的實施
將編碼調整模型與聊天調整模型混合在一起,使法學碩士既可以自然地編寫程式碼又可以自然地交談,而無需重新培訓。
進化合併實驗將日文模型與英語數學模型結合,產生強大的日文數學解算器。
從模型的權重中減去「毒性」任務向量,以減少有害輸出,而無需收集新的安全資料。
將多個經過不同書寫風格訓練的 LoRA 轉接器合併為一個可以靈活切換語氣的模型。
模型合併的未來
預計合併將成為「供應鏈」模型的標準組成部分。集線器已經託管了數千個可合併的檢查點,而像 mergekit 這樣的工具使食譜可以共享。研究正在轉向自動合併搜尋(選擇逐層混合比率的演化演算法)、跨略有不同的架構進行合併,以及即時合併專家混合組件。隨著開放微調的激增,合併提供了一種近乎免費的方式來組合功能,儘管合併模型的許可和來源將需要更清晰的標準。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是模型合併?
某些模型合併方法會使用權重空間算術結合相容的微調檢查點,無需額外梯度訓練或取得原始訓練資料。結果取決於架構、分詞器、基礎檢查點、合併配方與評估;合併並不保證功能能順利結合。
模型合併主要結合什麼?
模型合併直接對學習到的模型權重/參數進行操作,將它們融合成一組,而不是組合資料或運行時輸出。
在所描述的權重空間合併方法中,可以避免什麼?
某些合併方法會使用權重空間算術結合相容的微調檢查點,無需額外梯度訓練或原始訓練資料。
TIES-Merging 與 DARE 在處理參數干擾方面有何不同?
TIES 會在合併對齊更新前修剪小幅變化並解決符號衝突。DARE 隨機丟棄任務向量條目並重新縮放保留的部分;它不使用 TIES 的符號共識步驟。
在任務算術中,係數在組合任務向量時控制什麼?
任務算術會以選定係數將相對於基礎檢查點的模型差異結合;產生的模型仍需評估。
TIES-Merging 所命名的三個主要階段是什麼?
TIES 論文將 Trim、Elect Sign、Merge 描述為降低任務向量間干擾的步驟。