Il prossimoProssima guida
Ottimizzazione delle preferenze del rapporto quote
Intelligenza artificiale linguistica
GUIDA AI FONDAMENTALI
La normalizzazione della lunghezza regola gli obiettivi di ottimizzazione delle preferenze in modo che i modelli smettano di ottenere l'approvazione semplicemente scrivendo risposte più lunghe.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because uncorrected reward signals push chatbots toward verbose, padded responses instead of genuinely better ones.
When models are aligned with comparisons, human or reward-model labelers may prefer longer answers even when the extra text is not better. In standard DPO, the implicit reward sums per-token log-probability differences, so it can grow with response length. SimPO uses average per-token log probability, removes the need for a separate reference model, and adds a target reward margin between preferred and rejected responses. The SimPO paper reports chat-based evaluations on AlpacaEval 2, MT-Bench, and Arena-Hard; these results are tied to its tested models and training setups. Length-normalized objectives can reduce verbosity bias, but aggressive normalization can also encourage under-informative answers. Evaluation should assess completeness and correctness alongside length-controlled preference results.
Ottimizzare un assistente di assistenza clienti con SimPO in modo che fornisca risposte nitide e precise invece di paragrafi imbottiti che sembrano semplicemente approfonditi.
Segnalazione della "percentuale di vittorie controllata dalla lunghezza" su AlpacaEval 2 per mostrare un modello realmente migliorato anziché semplicemente diventato più loquace.
Aggiunta della normalizzazione della lunghezza al DPO durante la messa a punto di un modello di codifica in modo che restituisca snippet corretti minimi, non boilerplate gonfiati.
Diagnosticare un modello di ricompensa che assegna sistematicamente punteggi più alti ai saggi più lunghi, quindi svalutarlo prima di utilizzarlo per allineare un assistente alla scrittura.
Aspettatevi che il controllo della lunghezza diventi una manopola standard piuttosto che un ripensamento. I ricercatori stanno combinando la normalizzazione della lunghezza con penalità esplicite, premi condizionati dalla lunghezza e suite di valutazione che mantengono costante la lunghezza delle risposte per misurare i reali guadagni di qualità. Man mano che i modelli di ricompensa migliorano nell'individuare i bias di verbosità, le pipeline di allineamento probabilmente riporteranno tassi di vincita svalutati in base alla lunghezza per impostazione predefinita e gli utenti acquisiranno un controllo più preciso su quanto dovrebbero essere concise o dettagliate le risposte di un modello.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La normalizzazione della lunghezza regola gli obiettivi di ottimizzazione delle preferenze in modo che i modelli smettano di ottenere l'approvazione semplicemente scrivendo risposte più lunghe. È importante perché i segnali di ricompensa non corretti spingono i chatbot verso risposte dettagliate e complete invece che veramente migliori.
La ricompensa implicita del DPO cresce con il conteggio dei token, quindi senza modelli di normalizzazione si apprende che semplicemente essere più prolissi tende a vincere i confronti delle preferenze.
La ricompensa implicita somma i rapporti di probabilità di registro su ogni token, quindi più token generalmente significano una ricompensa totale maggiore.
SimPO valuta le risposte in base alla loro probabilità logaritmica media (normalizzata in lunghezza) e aggiunge un margine di ricompensa target, eliminando il vantaggio della lunghezza meccanica.
La percentuale di vincita controllata dalla lunghezza (come su AlpacaEval 2) si adatta alla lunghezza della risposta in modo che i guadagni riflettano la qualità, non la verbosità.
The SimPO paper reports chat-based evaluations on AlpacaEval 2, MT-Bench, and Arena-Hard; these benchmark results apply to the tested models and setups.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ottimizzazione delle preferenze del rapporto quote
Intelligenza artificiale linguistica