什麼是 DPO（直接偏好優化）?

一種使用人類偏好訊號來塑造模型行為的訓練方法。

預訓練後應用的訓練步驟，例如指令調整、偏好最佳化和安全調整。

讓模型不斷從新資料中學習而不忘記先驗知識的訓練方法。

對特定領域的資料進行持續訓練，以使預先訓練的模型適應特定任務。

一種向減少誤差的方向更新參數的最佳化方法。

微調指令-響應對的模型以改善任務追蹤。