AI Ordlista Term

Vad är QLoRA?

Definition

En finjusteringsteknik som kombinerar 4-bitars viktkvantisering med LoRA-adaptrar för att minska minnesbehovet.

Relaterade termer

LoRA (lågrankad anpassning)
En parametereffektiv finjusteringsmetod som lägger till lågrankade adaptermatriser.
Kvantisering
Konvertera modellvikter till format med lägre precision som 8-bitars eller 4-bitars.
Finjustering
Fortsatt utbildning om domänspecifik data för att anpassa en förtränad modell till en specifik uppgift.
Instruktionsjustering
Finjustera en modell på instruktion-svar-par för att förbättra uppgiftsföljden.
Modellkvantisering
Minska numerisk precision för modellvikter för att minska minnes- och slutledningskostnaden.
Parametereffektiv finjustering (PEFT)
Metoder som anpassar modeller genom att träna en liten delmängd av tillagda parametrar.

Läs mer i våra kostnadsfria guider

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider