什麼是LoRA（低階適應）？定義 | AI Understanding

定義

一種加入低秩適配器矩陣的參數高效率微調方法。

相關術語

參數高效率微調 (PEFT)

透過訓練一小部分添加參數來調整模型的方法。

一種微調技術，將 4 位元權重量化與 LoRA 適配器結合，以減少記憶體需求。

對特定領域的資料進行持續訓練，以使預先訓練的模型適應特定任務。

微調指令-響應對的模型以改善任務追蹤。

DPO（直接偏好優化）

一種直接在偏好對上微調模型的訓練方法，無需單獨的獎勵模型。

一種軟化硬標籤以提高泛化能力的正規化方法。

在我們的免費指南中了解更多信息

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

參見

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南