人工智能术语

什么是 QLoRA?

定义

一种微调技术，将 4 位权重量化与 LoRA 适配器相结合，以减少内存需求。

相关术语

LoRA（低阶适应）
一种添加低秩适配器矩阵的参数高效微调方法。
量化
将模型权重转换为较低精度的格式，例如 8 位或 4 位。
微调
对特定领域的数据进行持续训练，以使预先训练的模型适应特定任务。
指令调优
微调指令-响应对的模型以改善任务跟踪。
模型量化
降低模型权重的数值精度以减少内存和推理成本。
参数高效微调 (PEFT)
通过训练一小部分添加参数来调整模型的方法。

在我们的免费指南中了解更多信息

QLoRA and 4-Bit Fine-Tuning

参见

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
浏览完整的人工智能术语表探索所有免费的人工智能指南