What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Definition

Eine parametereffiziente Feinabstimmungsmethode, die Adaptermatrizen mit niedrigem Rang hinzufügt.

Verwandte Begriffe

Parametereffiziente Feinabstimmung (PEFT)

Methoden, die Modelle anpassen, indem sie eine kleine Teilmenge hinzugefügter Parameter trainieren.

Eine Feinabstimmungstechnik, die 4-Bit-Gewichtsquantisierung mit LoRA-Adaptern kombiniert, um den Speicherbedarf zu reduzieren.

Fortgesetztes Training zu domänenspezifischen Daten, um ein vorab trainiertes Modell an eine bestimmte Aufgabe anzupassen.

Anweisungs-Tuning

Feinabstimmung eines Modells für Anweisungs-Antwort-Paare, um die Aufgabenverfolgung zu verbessern.

DPO (Direct Preference Optimization)

Eine Trainingsmethode, die Modelle direkt anhand von Präferenzpaaren verfeinert, ohne dass ein separates Belohnungsmodell erforderlich ist.

Etikettenglättung

Eine Regularisierungsmethode, die harte Bezeichnungen mildert, um die Generalisierung zu verbessern.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

See also

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Durchsuchen Sie das vollständige KI-Glossar Entdecken Sie alle kostenlosen KI-Anleitungen