What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Meghatározás

Paraméter-hatékony finomhangolási módszer, amely alacsony rangú adaptermátrixokat ad hozzá.

Kapcsolódó kifejezések

Paraméter-hatékony finomhangolás (PEFT)

Olyan módszerek, amelyek a hozzáadott paraméterek egy kis részhalmazának betanításával adaptálják a modelleket.

Finomhangoló technika, amely a 4 bites súlykvantálást LoRA adapterekkel kombinálja a memóriaigény csökkentése érdekében.

Tartomány-specifikus adatok továbbképzése egy előre betanított modell adott feladathoz való adaptálásához.

Utasítás hangolás

Utasítás-válasz páros modell finomhangolása a feladatkövetés javítása érdekében.

DPO (Direct Preference Optimization)

Egy olyan képzési módszer, amely közvetlenül a preferenciapárokon finomítja a modelleket anélkül, hogy külön jutalommodellre lenne szükség.

Címkesimítás

Szabályosítási módszer, amely lágyítja a kemény címkéket az általánosítás javítása érdekében.

Tudjon meg többet ingyenes útmutatóinkból

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

See also

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót