Il prossimoProssima guida
Modellazione delle ricompense
Intelligenza artificiale linguistica
GUIDA AI FONDAMENTALI
Il modello Bradley-Terry è un metodo statistico vecchio di un secolo per trasformare i confronti a coppie (A batte B) in punteggi numerici.
Ascolta questa guidaNarrato dall'IA · ~2 min
In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.
Bradley-Terry, introdotto nel 1952, presuppone che ogni elemento abbia un punteggio di forza nascosto e che la probabilità che l'elemento A batta l'elemento B sia la funzione logistica della differenza di punteggio. Nell’allineamento dell’intelligenza artificiale, questo si mappa perfettamente sui dati delle preferenze: gli etichettatori umani vedono due risposte del modello e scelgono quella migliore, invece di fornire valutazioni assolute difficili da calibrare. Un modello di ricompensa, solitamente il modello linguistico con una testa di output scalare, viene addestrato in modo tale che la risposta preferita dagli umani ottenga una ricompensa scalare più elevata. La perdita è la log-verosimiglianza negativa della probabilità Bradley-Terry: massimizzare il log-sigmoide di (ricompensa del scelto meno ricompensa del rifiutato). Il modello di ricompensa risultante assegna quindi un punteggio a output arbitrari, fornendo il segnale contro cui gli algoritmi di apprendimento per rinforzo come PPO ottimizzano per rendere i modelli più utili e allineati.
Addestramento del modello di ricompensa in RLHF che classifica due risposte del chatbot e fornisce il segnale migliore-peggiore alla messa a punto del PPO.
Ottimizzazione delle preferenze dirette che mette a punto un modello direttamente sulle coppie di risposte scelte/rifiutate utilizzando la perdita del sigmoide logaritmico di Bradley-Terry.
Classifica dei giocatori di scacchi o di eSport tramite Elo, che è matematicamente un cugino stretto del modello Bradley-Terry sui risultati delle partite.
Creazione di una classifica dei consigli sui contenuti in base ai dati sui clic "gli utenti hanno preferito A rispetto a B" anziché alle valutazioni in stelle assolute.
Bradley-Terry presuppone un'unica classificazione coerente e preferenze transitive, che si interrompono quando gli esseri umani non sono d'accordo o le preferenze cambiano. La ricerca si sta muovendo verso modelli che catturano distribuzioni di preferenze, ricompense multidimensionali (disponibilità, sicurezza, onestà valutate separatamente) e metodi come l’apprendimento di Nash dal feedback umano che abbandonano il presupposto del punteggio singolo. Il DPO e le sue varianti integrano sempre più l’obiettivo Bradley-Terry direttamente nella formazione politica. Aspettatevi schemi di confronto più ricchi, comprese classifiche di più di due elementi e preferenze ponderate in base alla fiducia, per ridurre l’hacking delle ricompense.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il modello Bradley-Terry è un metodo statistico vecchio di un secolo per trasformare i confronti a coppie (A batte B) in punteggi numerici. Nell'intelligenza artificiale moderna alimenta modelli di ricompensa che apprendono le preferenze umane da "quale risposta è migliore?" etichette, la spina dorsale di RLHF.
Bradley-Terry effettua confronti a coppie "A batte B" e deduce un punteggio di forza nascosto per ciascun elemento, motivo per cui si adatta così bene all'etichettatura delle preferenze umane.
Il modello imposta P(A batte B) uguale alla logistica (sigmoide) della differenza tra i punteggi di forza nascosta di A e B.
La perdita di addestramento utilizza solo la differenza tra le ricompense scelte e quelle rifiutate, quindi spostando tutti i punteggi della stessa costante la perdita rimane invariata; la scala assoluta è arbitraria.
La probabilità logaritmica negativa di Bradley-Terry si riduce a meno log-sigmoide della differenza di ricompensa scelta-meno-rifiutata, spingendo più in alto la ricompensa della risposta scelta.
Il DPO riformula l'obiettivo di preferenza Bradley-Terry in modo che possa essere applicato direttamente al modello politico, eliminando la necessità di addestrare e interrogare un modello di ricompensa autonomo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Modellazione delle ricompense
Intelligenza artificiale linguistica