概述
這很重要,因為靜態的一次性偏好資料會變得陳舊,而迭代可以保持訓練訊號符合策略並且模型得到改進。
深入探討
直接偏好優化 (DPO) 跳過訓練單獨的獎勵模型:給定首選和拒絕的響應,它使用從 RLHF 目標派生的分類式損失來調整策略。 Vanilla DPO 在固定資料集上進行訓練,隨著模型的變化,該資料集可能會脫離策略。迭代 DPO 閉合循環:目前的政策樣本回應,人類評估者或人工智慧法官對它們進行比較,下一個 DPO 更新在這些新的對上進行訓練。重複循環會產生額外的採樣和標籤成本。如果模型判斷自己的輸出,它的判斷也可以繼承其偏差,因此獨立檢查和保留評估仍然有用。
現實世界的實施
在多輪中調整聊天助手,每次都會對新回應進行採樣並對它們重新排名以提高幫助性
自我獎勵設置,模型產生並判斷自己的響應對以引導更好的偏好數據
建立原始品質後,透過在後續迭代中添加長度控制的 DPO 來減少答案的冗長
領域適應,例如根據測試結果判斷的新生成的解決方案對迭代調整編碼模型
迭代 DPO 和線上偏好調整的未來
偏好調整可以變得更加連續和自動化,但每一輪都取決於法官的可靠性、資料覆蓋範圍和評估,而這些評估不會被重新用作訓練訊號。自我獎勵系統需要檢查自我確認錯誤,線上週期需要在每次迭代時進行成本和品質測量。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄迭代 DPO 和線上偏好調整在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是迭代 DPO 和線上偏好調整?
迭代 DPO 透過產生新的回應、對它們進行排名以及每輪對這些新的對進行調整,反覆將語言模型與人類或人工智慧的偏好保持一致。這很重要,因為靜態的一次性偏好資料會變得陳舊,而迭代可以保持訓練訊號符合策略並且模型得到改進。
DPO 避免了傳統 RLHF (PPO) 要求的哪些內容?
DPO 直接從偏好對最佳化策略,消除了基於 PPO 的 RLHF 使用的單獨獎勵模型和 RL 循環。
為什麼迭代(線上)DPO 通常比在固定資料集上運行一次 DPO 更好?
每輪重新產生和重新標記反應可以使數據與當前策略保持一致,從而減少分佈變化和對陳舊比較的過度擬合。
參考模型在 DPO 損失中扮演什麼角色?
DPO 比較策略和參考對數機率;此比率充當隱性獎勵並限制政策漂移的程度。
在線上 DPO 的單次迭代中,典型的順序是什麼?
每個循環都會從當前模型產生新的完成,由法官對它們進行排名,並對新對應用 DPO 更新。
DPO中的beta超參數控制什麼?
Beta 的作用就像隱性獎勵的溫度,在接近參考值和適應偏好之間進行權衡。