什麼是 預訓練?

預訓練後應用的訓練步驟，例如指令調整、偏好最佳化和安全調整。

非常大且複雜的資料集，需要可擴展的儲存和處理技術。

讓模型不斷從新資料中學習而不忘記先驗知識的訓練方法。

建立修改後的訓練範例以提高模型泛化能力的技術。

對特定領域的資料進行持續訓練，以使預先訓練的模型適應特定任務。

一個大型的預訓練模型，可以適應許多下游任務。