KI-Glossarbegriff

Was ist QLoRA?

Definition

Eine Feinabstimmungstechnik, die 4-Bit-Gewichtsquantisierung mit LoRA-Adaptern kombiniert, um den Speicherbedarf zu reduzieren.

Verwandte Begriffe

LoRA (Low-Rank-Anpassung)
Eine parametereffiziente Feinabstimmungsmethode, die Adaptermatrizen mit niedrigem Rang hinzufügt.
Quantisierung
Konvertieren von Modellgewichten in Formate mit geringerer Genauigkeit wie 8-Bit oder 4-Bit.
Feinabstimmung
Fortgesetztes Training zu domänenspezifischen Daten, um ein vorab trainiertes Modell an eine bestimmte Aufgabe anzupassen.
Anweisungs-Tuning
Feinabstimmung eines Modells für Anweisungs-Antwort-Paare, um die Aufgabenverfolgung zu verbessern.
Modellquantisierung
Reduzierung der numerischen Genauigkeit von Modellgewichten, um Speicher- und Inferenzkosten zu senken.
Parametereffiziente Feinabstimmung (PEFT)
Methoden, die Modelle anpassen, indem sie eine kleine Teilmenge hinzugefügter Parameter trainieren.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen