Hva er DPO (direkte preferanseoptimalisering)?

En treningsmetode som bruker menneskelige preferansesignaler for å forme modellatferd.

Treningstrinn brukt etter forhåndstrening, for eksempel instruksjonsinnstilling, preferanseoptimalisering og sikkerhetsinnstilling.

Opplæringsmetoder som lar en modell fortsette å lære av nye data uten å glemme forkunnskaper.

Fortsatt opplæring på domenespesifikke data for å tilpasse en forhåndstrent modell til en spesifikk oppgave.

En optimaliseringsmetode som oppdaterer parametere i retningen som reduserer feil.

Finjustere en modell på instruksjon-svar-par for å forbedre oppgavefølgen.