What is QLoRA? Definition | AI Understanding

Definicja

Technika dostrajania, która łączy 4-bitową kwantyzację wagi z adapterami LoRA w celu zmniejszenia zapotrzebowania na pamięć.

Powiązane terminy

LoRA (adaptacja niskiej rangi)

Efektywna pod względem parametrów metoda dostrajania, która dodaje macierze adapterów o niskim stopniu rangi.

Konwertowanie wag modeli na formaty o niższej precyzji, takie jak 8-bitowe lub 4-bitowe.

Kontynuowanie szkolenia na danych specyficznych dla domeny w celu dostosowania wstępnie wyszkolonego modelu do konkretnego zadania.

Instrukcja strojenia

Dostrajanie modelu par instrukcja-odpowiedź w celu poprawy wykonywania zadań.

Kwantyzacja modelu

Zmniejszenie precyzji numerycznej wag modeli w celu zmniejszenia kosztów pamięci i wnioskowania.

Dostrajanie efektywne pod względem parametrów (PEFT)

Metody dostosowujące modele poprzez uczenie małego podzbioru dodanych parametrów.

Dowiedz się więcej z naszych bezpłatnych przewodników

QLoRA and 4-Bit Fine-Tuning

Zobacz także

DPO (Direct Preference Optimization)Flash Attention Tree of Thoughts Multi-Head Attention ReAct Positional Encoding Agentic Loop RoPE (Rotary Positional Embeddings)

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI