什么是LoRA（低阶适应）？定义 | AI Understanding

定义

一种添加低秩适配器矩阵的参数高效微调方法。

相关术语

参数高效微调 (PEFT)

通过训练一小部分添加参数来调整模型的方法。

一种微调技术，将 4 位权重量化与 LoRA 适配器相结合，以减少内存需求。

对特定领域的数据进行持续训练，以使预先训练的模型适应特定任务。

微调指令-响应对的模型以改善任务跟踪。

DPO（直接偏好优化）

一种直接在偏好对上微调模型的训练方法，无需单独的奖励模型。

一种软化硬标签以提高泛化能力的正则化方法。

在我们的免费指南中了解更多信息

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

参见

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

浏览完整的人工智能术语表探索所有免费的人工智能指南