概述
它的行為取決於偏好資料、目標設定與實作方式。
深入探討
Odds Ratio Preference Optimization 先以偏好回應進行監督式微調,並加入一項懲罰,使政策對選擇回應與不偏好回應的機率比值形成對比。此單一目標避免了使用獨立的參考模型與別的偏好最佳化階段。論文將此目標描述為在 SFT 期間套用偏好對齊的方法;但這並不代表每個資料管線或實作都不使用輔助元件。機率比的轉換會產生與原始對數機率差異不同的懲罰形狀。結果取決於偏好資料集、係數、基礎模型與評估方式。ORPO 是一種訓練方法,而非推論時的解碼規則或保證偏好被忠實呈現。
現實世界的實施
在偏好對上微調開源 7B 聊天模型,無需載入第二個參考副本,從而將 GPU 記憶體減半
一家新創公司將客戶支援助理調整為在一次培訓中更喜歡禮貌、符合政策的答案,而不是 SFT-then-DPO
研究人員在同一資料集上將 ORPO 與 DPO 進行比較,以顯示較低計算量的可比較一致性
將基本模型調整到專門領域(例如法律起草),其中可以使用好的和壞的範例對,但沒有獎勵模型預算
比值比偏好優化的未來
ORPO 越來越受歡迎,因為它透過放棄參考模型來減少記憶體和運算量,這對於在有限硬體上進行微調的團隊很有吸引力。預計它將更頻繁地出現在開源食譜中,並作為 Hugging Face TRL 等庫的預設選項。未來的工作可能會自動調整 lambda 權重,將 ORPO 與其他無參考目標混合,並將其擴展到多模式和非常大的模型,在這些模型中,在記憶體中保存兩個副本的成本很高。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是優勢比偏好優化?
ORPO 在單一訓練階段結合監督微調與機率比偏好懲罰,且不需要單獨的參考模型。其行為取決於偏好資料、目標設定與實作。
與 DPO 等方法相比,ORPO 的主要實際優勢是什麼?
ORPO 將偏好學習納入 SFT 損失中,不需要模型的凍結參考副本,從而節省了記憶體和計算量。
ORPO 中的「比值比」有何不同?
ORPO 使用模型分配給首選答案與不首選答案的優勢比 (p/(1-p))。
ORPO 偏好範例包含什麼形式?
ORPO 以相同提示的選擇與拒絕回應來形成其偏好比較。
ORPO 如何將回應機率 p 轉換為機率比?
機率比計算為 p/(1−p);ORPO 在形成其偏好項時應用此轉換。
ORPO 損失最好描述為哪一種組合?
ORPO 在監督交叉熵損失的基礎上添加了加權對數 sigmoid 優勢比項。