什麼是 訓練中期?

預訓練後應用的訓練步驟，例如指令調整、偏好最佳化和安全調整。

用於訓練、驗證或測試的結構化或非結構化範例的集合。

用於測量訓練後模型品質的保留資料集。

對特定領域的資料進行持續訓練，以使預先訓練的模型適應特定任務。

在下游適應之前對廣泛資料進行初步大規模模型訓練。

一種根據偏好訊號對輸出進行評分的模型，通常用於 RLHF 管道。