What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Definiție

O metodă de reglare fină eficientă din punct de vedere al parametrilor care adaugă matrice adaptoare de rang scăzut.

Termeni înrudiți

Reglare fină eficientă în funcție de parametri (PEFT)

Metode care adaptează modelele prin antrenarea unui mic subset de parametri adăugați.

O tehnică de reglare fină care combină cuantificarea greutății pe 4 biți cu adaptoare LoRA pentru a reduce nevoile de memorie.

Formarea continuă cu privire la datele specifice domeniului pentru a adapta un model pre-antrenat la o anumită sarcină.

Reglajul instrucțiunilor

Ajustarea fină a unui model de perechi instrucțiune-răspuns pentru a îmbunătăți urmărirea sarcinilor.

DPO (Optimizare directă a preferințelor)

O metodă de antrenament care ajustează modelele direct pe perechile de preferințe, fără a avea nevoie de un model de recompensă separat.

Netezirea etichetei

O metodă de regularizare care înmoaie etichetele dure pentru a îmbunătăți generalizarea.

Aflați mai multe în ghidurile noastre gratuite

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

Vezi și

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite