AI Ordliste Term

Hva er Parameter-effektiv finjustering (PEFT)?

Definisjon

Metoder som tilpasser modeller ved å trene opp en liten delmengde av ekstra parametere.

Relaterte vilkår

Finjustering
Fortsatt opplæring på domenespesifikke data for å tilpasse en forhåndstrent modell til en spesifikk oppgave.
LoRA (Low-Rank Adaptation)
En parametereffektiv finjusteringsmetode som legger til lavrangerte adaptermatriser.
Etter trening
Treningstrinn brukt etter forhåndstrening, for eksempel instruksjonsinnstilling, preferanseoptimalisering og sikkerhetsinnstilling.
Instruksjon Tuning
Finjustere en modell på instruksjon-svar-par for å forbedre oppgavefølgen.
Læringsrate
En treningshyperparameter som kontrollerer hvor mye parametere endrer hvert oppdateringstrinn.
DPO (direkte preferanseoptimalisering)
En treningsmetode som finjusterer modeller direkte på preferansepar uten å trenge en egen belønningsmodell.

Lær mer i våre gratis guider

Fine-TuningHard Parameter Sharing in Multi-Task NetworksGumbel-Softmax and ReparameterizationRejection Sampling Fine-Tuning

Se også

ParameterPerplexityOverfittingPipelineOpen-Source ModelPrecisionOCR (Optical Character Recognition)Pretraining
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider