KI-Glossarbegriff

Was ist QLoRA?

Definition

Eine Feinabstimmungstechnik, die 4-Bit-Gewichtsquantisierung mit LoRA-Adaptern kombiniert, um den Speicherbedarf zu reduzieren.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

LoRA (Low-Rank-Anpassung)Eine parametereffiziente Feinabstimmungsmethode, die Adaptermatrizen mit niedrigem Rang hinzufügt.QuantisierungKonvertieren von Modellgewichten in Formate mit geringerer Genauigkeit wie 8-Bit oder 4-Bit.FeinabstimmungFortgesetztes Training zu domänenspezifischen Daten, um ein vorab trainiertes Modell an eine bestimmte Aufgabe anzupassen.Anweisungs-TuningFeinabstimmung eines Modells für Anweisungs-Antwort-Paare, um die Aufgabenverfolgung zu verbessern.ModellquantisierungReduzierung der numerischen Genauigkeit von Modellgewichten, um Speicher- und Inferenzkosten zu senken.Parametereffiziente Feinabstimmung (PEFT)Methoden, die Modelle anpassen, indem sie eine kleine Teilmenge hinzugefügter Parameter trainieren.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

QLoRA and 4-Bit Fine-Tuning

Siehe auch

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)