什么是 预训练?

预训练后应用的训练步骤，例如指令调整、偏好优化和安全调整。

非常大且复杂的数据集，需要可扩展的存储和处理技术。

让模型不断从新数据中学习而不忘记先验知识的训练方法。

创建修改后的训练示例以提高模型泛化能力的技术。

对特定领域的数据进行持续训练，以使预先训练的模型适应特定任务。

一个大型的预训练模型，可以适应许多下游任务。