Termin ze słownika AI

Czym jest QLoRA?

Definicja

Technika dostrajania, która łączy 4-bitową kwantyzację wagi z adapterami LoRA w celu zmniejszenia zapotrzebowania na pamięć.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

LoRA (adaptacja niskiej rangi)Efektywna pod względem parametrów metoda dostrajania, która dodaje macierze adapterów o niskim stopniu rangi.KwantyzacjaKonwertowanie wag modeli na formaty o niższej precyzji, takie jak 8-bitowe lub 4-bitowe.DostrajanieKontynuowanie szkolenia na danych specyficznych dla domeny w celu dostosowania wstępnie wyszkolonego modelu do konkretnego zadania.Instrukcja strojeniaDostrajanie modelu par instrukcja-odpowiedź w celu poprawy wykonywania zadań.Kwantyzacja modeluZmniejszenie precyzji numerycznej wag modeli w celu zmniejszenia kosztów pamięci i wnioskowania.Dostrajanie efektywne pod względem parametrów (PEFT)Metody dostosowujące modele poprzez uczenie małego podzbioru dodanych parametrów.

Dowiedz się więcej z naszych bezpłatnych przewodników

QLoRA and 4-Bit Fine-Tuning

Zobacz także

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)