Termin ze słownika AI

Czym jest LoRA (adaptacja niskiej rangi)?

Definicja

Efektywna pod względem parametrów metoda dostrajania, która dodaje macierze adapterów o niskim stopniu rangi.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Dostrajanie efektywne pod względem parametrów (PEFT)Metody dostosowujące modele poprzez uczenie małego podzbioru dodanych parametrów.QLoRATechnika dostrajania, która łączy 4-bitową kwantyzację wagi z adapterami LoRA w celu zmniejszenia zapotrzebowania na pamięć.DostrajanieKontynuowanie szkolenia na danych specyficznych dla domeny w celu dostosowania wstępnie wyszkolonego modelu do konkretnego zadania.Instrukcja strojeniaDostrajanie modelu par instrukcja-odpowiedź w celu poprawy wykonywania zadań.DPO (bezpośrednia optymalizacja preferencji)Metoda uczenia, która dostraja modele bezpośrednio na parach preferencji, bez konieczności stosowania osobnego modelu nagrody.Wygładzanie etykietMetoda regularyzacji, która łagodzi twarde etykiety, aby poprawić generalizację.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Workflow AutomationBarlow Twins and Redundancy ReductionDomain AdaptationKubeflow and ML Pipeline Orchestration

Zobacz także

Learning RateLoss FunctionLarge Language Model (LLM)Machine Learning (ML)LatencyMemory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph