AI Ordliste Term

Hva er LoRA (Low-Rank Adaptation)?

Definisjon

En parametereffektiv finjusteringsmetode som legger til lavrangerte adaptermatriser.

Relaterte vilkår

Parameter-effektiv finjustering (PEFT)
Metoder som tilpasser modeller ved å trene opp en liten delmengde av ekstra parametere.
QLoRA
En finjusteringsteknikk som kombinerer 4-bits vektkvantisering med LoRA-adaptere for å redusere minnebehov.
Finjustering
Fortsatt opplæring på domenespesifikke data for å tilpasse en forhåndstrent modell til en spesifikk oppgave.
Instruksjon Tuning
Finjustere en modell på instruksjon-svar-par for å forbedre oppgavefølgen.
DPO (direkte preferanseoptimalisering)
En treningsmetode som finjusterer modeller direkte på preferansepar uten å trenge en egen belønningsmodell.
Etikettutjevning
En regulariseringsmetode som myker opp harde etiketter for å forbedre generaliseringen.

Lær mer i våre gratis guider

AI Workflow AutomationBarlow Twins and Redundancy ReductionDomain AdaptationKubeflow and ML Pipeline Orchestration

Se også

Learning RateLoss FunctionLarge Language Model (LLM)Machine Learning (ML)LatencyMemory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider