What is QLoRA? Definition | AI Understanding

Definiție

O tehnică de reglare fină care combină cuantificarea greutății pe 4 biți cu adaptoare LoRA pentru a reduce nevoile de memorie.

Termeni înrudiți

LoRA (adaptare la rang scăzut)

O metodă de reglare fină eficientă din punct de vedere al parametrilor care adaugă matrice adaptoare de rang scăzut.

Conversia greutăților modelului în formate de precizie mai scăzută, cum ar fi 8 biți sau 4 biți.

Formarea continuă cu privire la datele specifice domeniului pentru a adapta un model pre-antrenat la o anumită sarcină.

Reglajul instrucțiunilor

Ajustarea fină a unui model de perechi instrucțiune-răspuns pentru a îmbunătăți urmărirea sarcinilor.

Cuantificarea modelului

Reducerea preciziei numerice a greutăților modelului pentru a reduce costurile de memorie și de inferență.

Reglare fină eficientă în funcție de parametri (PEFT)

Metode care adaptează modelele prin antrenarea unui mic subset de parametri adăugați.

Aflați mai multe în ghidurile noastre gratuite

QLoRA and 4-Bit Fine-Tuning

Vezi și

DPO (Direct Preference Optimization)Flash Attention Tree of Thoughts Multi-Head Attention ReAct Positional Encoding Agentic Loop RoPE (Rotary Positional Embeddings)

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite