什麼是 參數高效率微調 (PEFT)?

對特定領域的資料進行持續訓練，以使預先訓練的模型適應特定任務。

一種加入低秩適配器矩陣的參數高效率微調方法。

預訓練後應用的訓練步驟，例如指令調整、偏好最佳化和安全調整。

微調指令-響應對的模型以改善任務追蹤。

訓練超參數控制每個更新步驟的參數變化量。

一種直接在偏好對上微調模型的訓練方法，無需單獨的獎勵模型。