概述
選擇很重要,因為第一個主要改變模型對領域及其語言的了解,第二個主要改變模型的反應方式,所需的數據和計算差異很大。
深入探討
持續預訓練,也稱為領域自適應預訓練,從原始預訓練停止的地方開始。該模型查看來自目標領域的原始文本,例如醫學論文、原始程式碼或法律文件,並學習預測每個下一個標記,就像預訓練一樣。 Gururangan 及其同事在 2020 年的論文《Don’t Stop Pretraining》中表明,對域內文本進行預訓練的第二階段改進了 RoBERTa 在生物醫學、電腦科學、新聞和評論領域的任務。它通常需要大量文本,往往是數十億個令牌,以及全參數訓練,因此其成本遠遠超過微調。微調,通常是監督微調,使用提示和回應對。損失通常僅根據響應標記進行計算,因此模型可以學習給定輸入生成什麼。資料集範圍從數千到數十萬個範例,LoRA 等參數高效的方法使其在普通硬體上負擔得起。它擅長教學形式、風格、任務行為和指令遵循。通常會遵循 RLHF 或 DPO 等偏好方法。常見的流程是基礎模型,然後繼續預先訓練,然後監督微調,然後偏好調整。持續的預訓練有一個已知的風險:災難性遺忘,一般技能會下降。應用於聊天模型時,它還會削弱指令跟踪,因此團隊通常從基本模型開始,然後重做指令調整。有兩個誤解很突出。首先,微調並不是增加許多新事實的可靠方法; Gekhman 及其同事(2024)等研究發現,模型透過微調慢慢學習新事實,這樣做會增加幻覺。對於快速變化的事實,檢索通常是更好的工具。其次,BloombergGPT 有時被認為是持續的預訓練,但它是根據金融和一般資料從頭開始訓練的。一個粗略的規則:當領域語言與網路文字差異很大且未標記資料大量時,使用持續預訓練;當您需要行為或格式時使用微調。
現實世界的實施
程式碼 Llama 是透過在大型程式碼庫上繼續訓練 Llama 2 來建構的,然後它的一些變體針對 Python 和以下指令進行了進一步訓練。
一家擁有數百萬份未標記合約和文件的法律科技公司持續進行預訓練,以改進模型對法律語言的處理,然後對數千個帶註釋的條款提取範例進行微調。
一家銀行希望聊天機器人能夠以固定的 JSON 格式和固定的語氣進行回答;有監督的微調,甚至仔細的提示就足夠了,因為模型已經知道了大致的內容。
EPFL 的 Meditron 模型在進行任何特定任務的微調之前,透過繼續對醫學論文和臨床指南進行預訓練,將 Llama 2 應用於醫學。
持續預訓練與微調的未來
強大的開放基礎模型的穩定發布使得持續預訓練對於更多組織來說變得實用,儘管它仍然需要大量資料和計算。活躍的研究領域包括減少遺忘、降低領域適應成本以及結合單獨訓練的模型的權重。在實踐中,許多團隊將繼續將輕度微調與檢索結合起來,而不是完全持續的預訓練,為一般網路資料覆蓋率較差的語言領域保留較重的選項。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是持續預訓練與微調?
持續的預訓練不斷在大量原始域文本上訓練具有相同下一個標記目標的基本模型,同時在較小的精選標記示例集(例如指令和響應對)上微調訓練以塑造行為。選擇很重要,因為第一個主要改變模型對領域及其語言的了解,第二個主要改變模型的反應方式,所需的數據和計算差異很大。
持續預訓練和監督微調之間的主要資料差異是什麼?
持續的預訓練預測原始文字上的下一個標記,而微調則從提示和回應對中學習。
在監督微調中,損失通常在哪裡計算?
屏蔽提示意味著模型學習在給定輸入的情況下產生什麼,而不是重現輸入。
持續預訓練中的重播是什麼?
包含通用資料有助於在模型學習領域時防止通用技能下降。
程式碼 Llama 是如何建構的?
程式碼 Llama 是一個持續的預訓練範例,其中一些變體針對 Python 和指令進行了進一步訓練。
對於經常變化的事實,指南建議的哪種方法通常比微調更好?
微調學習新事實的速度很慢,並且會增加幻覺,因此檢索通常更適合更改資訊。