什么是 训练中期?

预训练后应用的训练步骤，例如指令调整、偏好优化和安全调整。

用于训练、验证或测试的结构化或非结构化示例的集合。

用于测量训练后模型质量的保留数据集。

对特定领域的数据进行持续训练，以使预先训练的模型适应特定任务。

在下游适应之前对广泛数据进行初始大规模模型训练。

一种根据偏好信号对输出进行评分的模型，通常用于 RLHF 管道。