A continuaciónSiguiente guía
Aprendizaje por refuerzo
Técnico
GUÍA Técnica
Aprendizaje por refuerzo a partir de la retroalimentación humana
RLHF es la técnica que convierte un modelo de lenguaje crudo en un asistente útil y educado al entrenarlo según las preferencias humanas.
En esta pagina2 minutos de lectura
Descripción general
Es importante porque alinea el comportamiento del modelo con lo que la gente realmente quiere, no sólo con lo que es estadísticamente probable.
Buceo profundo
Un modelo de lenguaje previamente entrenado predice un texto plausible, pero plausible no es lo mismo que útil, honesto o seguro. RLHF soluciona este problema por etapas. Primero, el ajuste supervisado le enseña al modelo a seguir instrucciones utilizando respuestas de ejemplo escritas por humanos. A continuación, los humanos comparan pares de respuestas modelo al mismo mensaje y eligen la mejor; Estas comparaciones entrenan un modelo de recompensa separado que califica cualquier respuesta. Finalmente, el modelo de lenguaje se optimiza con aprendizaje por refuerzo para producir respuestas que el modelo de recompensa califica altamente. Una penalización evita que se aleje demasiado del modelo original para que se mantenga fluido y no explote las peculiaridades del modelo de recompensa. RLHF fue fundamental para hacer que los asistentes de estilo ChatGPT fueran utilizables.
Impacto Estratégico
Costo y presupuesto
Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
Decisiones más claras
La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
control de calidad
Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
El futuro del aprendizaje reforzado a partir de la retroalimentación humana
RLHF se está simplificando y parcialmente automatizando. DPO y los métodos de preferencia directa relacionados están reemplazando la pesada cartera de PPO para muchos equipos, y RLAIF utiliza retroalimentación generada por IA (como en la IA constitucional) para reducir los costos de etiquetado. La investigación está abordando la piratería de recompensas, el sesgo de los anotadores y la dificultad de juzgar respuestas largas o de expertos, con técnicas como la supervisión de procesos y el debate. Espere que la alineación combine retroalimentación humana y de IA, señales de recompensa más ricas más allá de un solo pulgar hacia arriba y un escrutinio cada vez mayor de quién proporciona las preferencias y qué valores codifican.
Implementación en el mundo real
Ajustar un asistente de chat para que rechace solicitudes dañinas y brinde respuestas útiles y bien estructuradas en lugar de solo texto plausible.
Clasificar pares de resúmenes según la preferencia humana para entrenar un modelo que escriba resúmenes que las personas realmente encuentren útiles.
Reducir los resultados tóxicos o sesgados recompensando las respuestas que los evaluadores humanos consideren respetuosas y seguras.
Uso de DPO en un conjunto de datos de respuestas preferidas y rechazadas para alinear un modelo de código abierto sin ejecutar un ciclo de PPO completo.
Riesgos y barandillas
La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
Los costos de infraestructura y mantenimiento a menudo se subestiman.
Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Hoja de ruta de implementación
Defina objetivos de latencia, calidad y costos antes de la implementación.
Comparación en condiciones realistas de carga y datos.
Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reinforcement Learning From Human Feedback quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Preguntas frecuentes
¿Qué es el aprendizaje por refuerzo a partir de la retroalimentación humana?
RLHF es la técnica que convierte un modelo de lenguaje crudo en un asistente útil y educado al entrenarlo según las preferencias humanas. Es importante porque alinea el comportamiento del modelo con lo que la gente realmente quiere, no sólo con lo que es estadísticamente probable.
¿Cuál es el propósito principal de RLHF para un modelo de lenguaje?
RLHF dirige un modelo hacia las respuestas que los humanos prefieren, haciéndolo más útil, honesto y seguro en lugar de meramente plausible.
¿Qué aprende realmente a hacer el modelo de recompensa en RLHF?
El modelo de recompensa se basa en comparaciones de preferencias humanas para calificar las respuestas, proporcionando la señal contra la cual se optimiza la política.
¿Por qué se utiliza una penalización de divergencia KL contra el modelo original durante el paso RL?
La penalización de KL mantiene la política optimizada cerca del modelo de referencia, protegiéndola contra la piratería de recompensas y la pérdida de fluidez.
¿Cómo se recopilan normalmente los datos de preferencias para el modelo de recompensa?
Los anotadores eligen la respuesta preferida en comparaciones por pares, lo que entrena el modelo de recompensa mediante una pérdida al estilo Bradley-Terry.
¿Qué ventaja ofrece DPO (Optimización de Preferencia Directa) sobre el canal RLHF clásico?
DPO deriva el objetivo directamente de las preferencias, evitando el modelo de recompensa separado y el complicado paso de aprendizaje por refuerzo.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.