人工智能术语

什么是 参数高效微调 (PEFT)?

定义

通过训练一小部分添加参数来调整模型的方法。

相关术语

微调
对特定领域的数据进行持续训练，以使预先训练的模型适应特定任务。
LoRA（低阶适应）
一种添加低秩适配器矩阵的参数高效微调方法。
培训后
预训练后应用的训练步骤，例如指令调整、偏好优化和安全调整。
指令调优
微调指令-响应对的模型以改善任务跟踪。
学习率
训练超参数控制每个更新步骤的参数变化量。
DPO（直接偏好优化）
一种直接在偏好对上微调模型的训练方法，无需单独的奖励模型。

在我们的免费指南中了解更多信息

Fine-TuningHard Parameter Sharing in Multi-Task NetworksGumbel-Softmax and ReparameterizationRejection Sampling Fine-Tuning

参见

ParameterPerplexityOverfittingPipelineOpen-Source ModelPrecisionOCR (Optical Character Recognition)Pretraining
浏览完整的人工智能术语表探索所有免费的人工智能指南