AI-verklarende term

Wat is QLoRA?

Definitie

Een verfijningstechniek die 4-bits gewichtskwantisering combineert met LoRA-adapters om de geheugenbehoeften te verminderen.

Gerelateerde termen

LoRA (aanpassing op lage rang)
Een parameter-efficiënte fijnafstemmingsmethode die adaptermatrices van lage rang toevoegt.
Kwantisering
Modelgewichten converteren naar formaten met een lagere precisie, zoals 8-bit of 4-bit.
Fijnafstelling
Voortdurende training over domeinspecifieke gegevens om een ​​vooraf getraind model aan te passen aan een specifieke taak.
Instructie afstemmen
Het verfijnen van een model op instructie-antwoordparen om het volgen van taken te verbeteren.
Modelkwantisering
Het verminderen van de numerieke precisie van modelgewichten om de geheugen- en gevolgtrekkingskosten te verlagen.
Parameter-efficiënte fijnafstemming (PEFT)
Methoden die modellen aanpassen door een kleine subset van toegevoegde parameters te trainen.

Lees meer in onze gratis handleidingen

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Blader door de volledige AI-woordenlijstOntdek alle gratis AI-gidsen