GUIDA AI FONDAMENTALI

Modello di ricompensa Bradley-Terry

Il modello Bradley-Terry è un metodo statistico vecchio di un secolo per trasformare i confronti a coppie (A batte B) in punteggi numerici.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della modellazione delle ricompense Bradley-Terry
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.

Immersione profonda

Bradley-Terry, introdotto nel 1952, presuppone che ogni elemento abbia un punteggio di forza nascosto e che la probabilità che l'elemento A batta l'elemento B sia la funzione logistica della differenza di punteggio. Nell’allineamento dell’intelligenza artificiale, questo si mappa perfettamente sui dati delle preferenze: gli etichettatori umani vedono due risposte del modello e scelgono quella migliore, invece di fornire valutazioni assolute difficili da calibrare. Un modello di ricompensa, solitamente il modello linguistico con una testa di output scalare, viene addestrato in modo tale che la risposta preferita dagli umani ottenga una ricompensa scalare più elevata. La perdita è la log-verosimiglianza negativa della probabilità Bradley-Terry: massimizzare il log-sigmoide di (ricompensa del scelto meno ricompensa del rifiutato). Il modello di ricompensa risultante assegna quindi un punteggio a output arbitrari, fornendo il segnale contro cui gli algoritmi di apprendimento per rinforzo come PPO ottimizzano per rendere i modelli più utili e allineati.

Implementazione nel mondo reale

Addestramento del modello di ricompensa in RLHF che classifica due risposte del chatbot e fornisce il segnale migliore-peggiore alla messa a punto del PPO.

Ottimizzazione delle preferenze dirette che mette a punto un modello direttamente sulle coppie di risposte scelte/rifiutate utilizzando la perdita del sigmoide logaritmico di Bradley-Terry.

Classifica dei giocatori di scacchi o di eSport tramite Elo, che è matematicamente un cugino stretto del modello Bradley-Terry sui risultati delle partite.

Creazione di una classifica dei consigli sui contenuti in base ai dati sui clic "gli utenti hanno preferito A rispetto a B" anziché alle valutazioni in stelle assolute.

Il futuro della modellazione delle ricompense Bradley-Terry

Bradley-Terry presuppone un'unica classificazione coerente e preferenze transitive, che si interrompono quando gli esseri umani non sono d'accordo o le preferenze cambiano. La ricerca si sta muovendo verso modelli che catturano distribuzioni di preferenze, ricompense multidimensionali (disponibilità, sicurezza, onestà valutate separatamente) e metodi come l’apprendimento di Nash dal feedback umano che abbandonano il presupposto del punteggio singolo. Il DPO e le sue varianti integrano sempre più l’obiettivo Bradley-Terry direttamente nella formazione politica. Aspettatevi schemi di confronto più ricchi, comprese classifiche di più di due elementi e preferenze ponderate in base alla fiducia, per ridurre l’hacking delle ricompense.

Metterlo in pratica

Perché è importante

  • Decisioni più chiare. Ti aiuta a separare le chiare affermazioni tecniche dal linguaggio di marketing.
  • Costo e budget. Puoi porre domande sull'implementazione migliore prima di spendere denaro o tempo.
  • Team e flusso di lavoro. I team con una comprensione condivisa prendono decisioni migliori su prodotti, politiche e apprendimento.

Attenzione

  • Team diversi possono utilizzare lo stesso termine in modo diverso, quindi definisci l'ambito in anticipo.
  • I benchmark possono sembrare solidi mentre le prestazioni nel mondo reale non sono uniformi.
  • Ignorare la qualità dei dati e i piani di valutazione spesso crea risultati fragili.

Prossimi passi

  1. Inizia con una definizione in linguaggio semplice del risultato di cui hai bisogno.
  2. Scegli una metrica di successo e una condizione di fallimento prima del test.
  3. Esegui un piccolo progetto pilota con dati rappresentativi, non un set demo raffinato.
  4. Documenta dove il Bradley-Terry Reward Modeling aiuta e dove i metodi più semplici sono migliori.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Bradley-Terry Reward Modeling quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Bradley-Terry Reward Modeling?

Il modello Bradley-Terry è un metodo statistico vecchio di un secolo per trasformare i confronti a coppie (A batte B) in punteggi numerici. Nell'intelligenza artificiale moderna alimenta modelli di ricompensa che apprendono le preferenze umane da "quale risposta è migliore?" etichette, la spina dorsale di RLHF.

Cosa converte il modello Bradley-Terry in punteggi numerici?

Bradley-Terry effettua confronti a coppie "A batte B" e deduce un punteggio di forza nascosto per ciascun elemento, motivo per cui si adatta così bene all'etichettatura delle preferenze umane.

In Bradley-Terry, la probabilità che A batte B è funzione di cosa?

Il modello imposta P(A batte B) uguale alla logistica (sigmoide) della differenza tra i punteggi di forza nascosta di A e B.

Perché le ricompense di Bradley-Terry sono identificabili solo fino a una costante additiva?

La perdita di addestramento utilizza solo la differenza tra le ricompense scelte e quelle rifiutate, quindi spostando tutti i punteggi della stessa costante la perdita rimane invariata; la scala assoluta è arbitraria.

Qual è la perdita standard per un confronto con una singola preferenza nella modellazione della ricompensa?

La probabilità logaritmica negativa di Bradley-Terry si riduce a meno log-sigmoide della differenza di ricompensa scelta-meno-rifiutata, spingendo più in alto la ricompensa della risposta scelta.

Quale metodo salta un modello di ricompensa separato ottimizzando l'obiettivo Bradley-Terry direttamente sulla politica?

Il DPO riformula l'obiettivo di preferenza Bradley-Terry in modo che possa essere applicato direttamente al modello politico, eliminando la necessità di addestrare e interrogare un modello di ricompensa autonomo.