Il prossimoProssima guida
Ottimizzazione delle preferenze del rapporto quote
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Direct Preference Optimization (DPO) trains a language model from preference comparisons without the separate reward-model-plus-online-PPO loop used in a standard RLHF setup.
Ascolta questa guidaNarrato dall'IA · ~2 min
The DPO paper derives a preference-learning objective from a KL-constrained reward-maximization setup. Training examples include a prompt, preferred answer, and rejected answer. The method uses a reference policy in its objective and avoids fitting a separate reward model in the proposed pipeline. This does not mean DPO avoids all modeling assumptions or guarantees alignment. DPO optimizes pairwise preference comparisons using policy and reference log probabilities. Its implicit reward is beta times the policy/reference log-probability ratio, up to a prompt-dependent constant. KTO is a separate prospect-theoretic alignment objective that learns from binary desirable/undesirable feedback and should not be labeled a DPO variant.
Train on prompts with preferred and rejected answers.
Compare a DPO experiment with a supervised baseline on a fixed evaluation set.
Track the reference model and beta settings for reproducibility.
Review learned behavior for regressions after preference tuning.
Preference-training methods continue to vary. Report data, reference, optimizer, and evaluation details rather than treating DPO as a complete safety method.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Direct Preference Optimization (DPO) trains a language model from preference comparisons without the separate reward-model-plus-online-PPO loop used in a standard RLHF setup.
Il vantaggio principale del DPO è la rimozione del modello di ricompensa esplicito e del ciclo di campionamento RL, ottimizzando invece la politica direttamente sulle coppie di preferenze.
Il DPO si addestra sulle coppie di preferenze: un prompt più una risposta preferita ("scelto") e una risposta non preferita ("rifiutato").
Un riferimento congelato (tipicamente il modello SFT) ancora la perdita; il parametro beta controlla quanto lontano la policy addestrata può allontanarsi da esso.
The DPO objective uses a preference pair and compares policy log-probability ratios against a reference policy. This describes the pairwise objective, while the implicit-reward interpretation is a related consequence.
Il beta governa il vincolo implicito KL: un beta più alto mantiene la politica più vicina al riferimento, un beta più basso consente una maggiore deviazione.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ottimizzazione delle preferenze del rapporto quote
Intelligenza artificiale linguistica