What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Definicja

Efektywna pod względem parametrów metoda dostrajania, która dodaje macierze adapterów o niskim stopniu rangi.

Powiązane terminy

Dostrajanie efektywne pod względem parametrów (PEFT)

Metody dostosowujące modele poprzez uczenie małego podzbioru dodanych parametrów.

Technika dostrajania, która łączy 4-bitową kwantyzację wagi z adapterami LoRA w celu zmniejszenia zapotrzebowania na pamięć.

Kontynuowanie szkolenia na danych specyficznych dla domeny w celu dostosowania wstępnie wyszkolonego modelu do konkretnego zadania.

Instrukcja strojenia

Dostrajanie modelu par instrukcja-odpowiedź w celu poprawy wykonywania zadań.

DPO (bezpośrednia optymalizacja preferencji)

Metoda uczenia, która dostraja modele bezpośrednio na parach preferencji, bez konieczności stosowania osobnego modelu nagrody.

Wygładzanie etykiet

Metoda regularyzacji, która łagodzi twarde etykiety, aby poprawić generalizację.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

Zobacz także

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI