KI-Glossarbegriff

Was ist LoRA (Low-Rank-Anpassung)?

Definition

Eine parametereffiziente Feinabstimmungsmethode, die Adaptermatrizen mit niedrigem Rang hinzufügt.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

Parametereffiziente Feinabstimmung (PEFT)Methoden, die Modelle anpassen, indem sie eine kleine Teilmenge hinzugefügter Parameter trainieren.QLoRAEine Feinabstimmungstechnik, die 4-Bit-Gewichtsquantisierung mit LoRA-Adaptern kombiniert, um den Speicherbedarf zu reduzieren.FeinabstimmungFortgesetztes Training zu domänenspezifischen Daten, um ein vorab trainiertes Modell an eine bestimmte Aufgabe anzupassen.Anweisungs-TuningFeinabstimmung eines Modells für Anweisungs-Antwort-Paare, um die Aufgabenverfolgung zu verbessern.DPO (Direkte Präferenzoptimierung)Eine Trainingsmethode, die Modelle direkt anhand von Präferenzpaaren verfeinert, ohne dass ein separates Belohnungsmodell erforderlich ist.EtikettenglättungEine Regularisierungsmethode, die harte Bezeichnungen mildert, um die Generalisierung zu verbessern.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

AI Workflow AutomationBarlow Twins and Redundancy ReductionDomain AdaptationKubeflow and ML Pipeline Orchestration

Siehe auch

Learning RateLoss FunctionLarge Language Model (LLM)Machine Learning (ML)LatencyMemory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph