Il prossimoProssima guida
Normalizzazione della lunghezza nell'ottimizzazione delle preferenze
Fondamenti
GUIDA AI FONDAMENTALI
Il DPO iterativo allinea ripetutamente un modello linguistico alle preferenze umane o di intelligenza artificiale generando nuove risposte, classificandole e sintonizzandosi su quelle nuove coppie a ogni round.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because static, one-shot preference data goes stale, while iterating keeps the training signal on-policy and the model improving.
Direct Preference Optimization (DPO) skips training a separate reward model: given preferred and rejected responses, it adjusts the policy with a classification-style loss derived from the RLHF objective. Vanilla DPO trains on a fixed dataset, which may become off-policy as the model changes. Iterative DPO closes the loop: the current policy samples responses, human raters or an AI judge compare them, and the next DPO update trains on these fresh pairs. Repeating rounds incurs additional sampling and labeling costs. If the model judges its own outputs, its judgments can also inherit its biases, so independent checks and held-out evaluation remain useful.
Allineare un assistente di chat su più turni, campionando ogni volta nuove risposte e riclassificandole per migliorarne l'utilità
Configurazioni autogratificanti in cui il modello genera e giudica le proprie coppie di risposte per avviare dati sulle preferenze migliori
Ridurre la verbosità della risposta aggiungendo DPO con lunghezza controllata nelle iterazioni successive una volta stabilita la qualità grezza
Adattamento del dominio, come la messa a punto iterativa di un modello di codifica su coppie di soluzioni appena generate valutate in base ai risultati dei test
Preference tuning can become more continuous and automated, but each round depends on the judge’s reliability, data coverage, and evaluation that is not reused as training signal. Self-rewarding systems need checks for self-confirming errors, and online cycles need cost and quality measurement at every iteration.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il DPO iterativo allinea ripetutamente un modello linguistico alle preferenze umane o di intelligenza artificiale generando nuove risposte, classificandole e sintonizzandosi su quelle nuove coppie a ogni round. È importante perché i dati statici e unici sulle preferenze diventano obsoleti, mentre l'iterazione mantiene il segnale di addestramento sulla politica e il modello in miglioramento.
Il DPO ottimizza la policy direttamente dalle coppie di preferenze, eliminando il modello di ricompensa separato e il ciclo RL utilizzato da RLHF basato su PPO.
La rigenerazione e la rietichettatura delle risposte a ogni ciclo mantiene i dati allineati alla politica attuale, riducendo lo spostamento della distribuzione e l’adattamento eccessivo a confronti obsoleti.
Il DPO confronta le policy e le probabilità dei log di riferimento; il rapporto agisce come una ricompensa implicita e limita la portata della deriva della politica.
Ogni ciclo genera nuovi completamenti dal modello corrente, un giudice li classifica e applica un aggiornamento DPO alle nuove coppie.
Il beta agisce come una temperatura sulla ricompensa implicita, bilanciando il restare vicino al riferimento con l’adattamento alle preferenze.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Normalizzazione della lunghezza nell'ottimizzazione delle preferenze
Fondamenti