A continuaciónSiguiente guía
Modelado de recompensas
Idioma IA
GUÍA DE FUNDAMENTOS
Modelado de recompensas de Bradley-Terry
El modelo Bradley-Terry es un método estadístico centenario para convertir comparaciones por pares (A vence a B) en puntuaciones numéricas.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.
Buceo profundo
Bradley-Terry, introducido en 1952, supone que cada ítem tiene una puntuación de fuerza oculta, y la probabilidad de que el ítem A supere al ítem B es la función logística de su diferencia de puntuación. En la alineación de la IA, esto se relaciona claramente con los datos de preferencia: los etiquetadores humanos ven dos respuestas del modelo y eligen la mejor, en lugar de dar calificaciones absolutas difíciles de calibrar. Un modelo de recompensa, generalmente el modelo de lenguaje con un cabezal de salida escalar, se entrena para que la respuesta preferida por los humanos obtenga una recompensa escalar más alta. La pérdida es la probabilidad logarítmica negativa de la probabilidad de Bradley-Terry: maximizar el log-sigmoide de (recompensa del elegido menos recompensa del rechazado). Luego, el modelo de recompensa resultante califica resultados arbitrarios, proporcionando la señal de que los algoritmos de aprendizaje por refuerzo como PPO se optimizan para hacer que los modelos sean más útiles y alineados.
Implementación en el mundo real
Entrenar el modelo de recompensa en RLHF que clasifica dos respuestas de chatbot y alimenta la señal de mejor-peor para el ajuste de PPO.
Optimización de preferencias directas que ajusta un modelo directamente en pares de respuestas elegidas versus rechazadas utilizando la pérdida log-sigmoidea de Bradley-Terry.
Clasificar a los jugadores de ajedrez o deportes electrónicos a través de Elo, que es matemáticamente un primo cercano del modelo Bradley-Terry sobre los resultados del juego.
Crear un ranking de recomendación de contenido a partir de datos de clics de 'los usuarios prefirieron A sobre B' en lugar de calificaciones absolutas de estrellas.
El futuro del modelo de recompensa Bradley-Terry
Bradley-Terry supone una clasificación única y consistente y preferencias transitivas, que se desmoronan cuando los humanos no están de acuerdo o las preferencias cambian. La investigación avanza hacia modelos que capturan distribuciones de preferencias, recompensas multidimensionales (ayuda, seguridad, honestidad calificadas por separado) y métodos como el de Nash que aprende de la retroalimentación humana que elimina el supuesto de puntuación única. La OPD y sus variantes incorporan cada vez más el objetivo de Bradley-Terry directamente a la formación en materia de políticas. Espere esquemas de comparación más completos, que incluyan clasificaciones de más de dos elementos y preferencias ponderadas por confianza, para reducir la piratería de recompensas.
Poniéndolo en práctica
Por qué es importante
- Decisiones más claras. Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
- Costo y presupuesto. Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
- Equipo y flujo de trabajo. Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
cuidado con
- Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
- Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
- Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Próximos pasos
- Comience con una definición en lenguaje sencillo del resultado que necesita.
- Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
- Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
- Documente dónde ayuda el modelado de recompensas Bradley-Terry y dónde son mejores los métodos más simples.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Bradley-Terry Reward Modeling quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is Bradley-Terry Reward Modeling?
El modelo Bradley-Terry es un método estadístico centenario para convertir comparaciones por pares (A vence a B) en puntuaciones numéricas. En la IA moderna, impulsa modelos de recompensa que aprenden las preferencias humanas a partir de "¿qué respuesta es mejor?" etiquetas, la columna vertebral de RLHF.
¿Qué convierte el modelo Bradley-Terry en puntuaciones numéricas?
Bradley-Terry realiza comparaciones por pares de 'A vence a B' e infiere una puntuación de fortaleza oculta para cada ítem, razón por la cual se ajusta tan bien al etiquetado de preferencias humanas.
En Bradley-Terry, ¿la probabilidad de que A gane a B es función de qué?
El modelo establece que P(A vence a B) es igual a la logística (sigmoidea) de la diferencia entre las puntuaciones de fuerza oculta de A y B.
¿Por qué las recompensas Bradley-Terry son identificables sólo hasta una constante aditiva?
La pérdida de entrenamiento utiliza sólo la diferencia entre las recompensas elegidas y rechazadas, por lo que cambiar todas las puntuaciones según la misma constante deja la pérdida sin cambios; la escala absoluta es arbitraria.
¿Cuál es la pérdida estándar para una comparación de preferencia única en el modelo de recompensa?
La probabilidad logarítmica negativa de Bradley-Terry se reduce a menos log-sigmoide de la diferencia de recompensa elegida menos rechazada, lo que eleva la recompensa de la respuesta elegida.
¿Qué método omite un modelo de recompensa separado al optimizar el objetivo de Bradley-Terry directamente en la política?
DPO reformula el objetivo de preferencia Bradley-Terry para que pueda aplicarse directamente al modelo de política, eliminando la necesidad de entrenar y consultar un modelo de recompensa independiente.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.