Ajuste fino del muestreo de rechazo
El ajuste fino del muestreo de rechazo (RFT) genera muchas respuestas candidatas, mantiene solo las de mejor puntuación y vuelve a entrenar el modelo con esos ganadores.
Descripción general
It matters because it offers much of RLHF's benefit using straightforward supervised learning instead of complex reinforcement learning.
Buceo profundo
El ajuste fino del muestreo de rechazo, a veces llamado ajuste fino del mejor de N, es un ingrediente clave en cómo se alinearon modelos como Llama 2 y Llama 3 de Meta. La receta es simple: para cada mensaje, muestre varias respuestas (por ejemplo, de 4 a 64) del modelo actual, califique cada una con un modelo de recompensa o un verificador automático, luego descarte ('rechace') todas las salidas excepto las mejor clasificadas. Las muestras supervivientes de alta calidad se convierten en un nuevo conjunto de datos de ajuste fino supervisado y el modelo se entrena en ellas con la pérdida ordinaria del siguiente token. La repetición iterativa de este ciclo empuja al modelo a generar mejores respuestas por sí solo. Debido a que el modelo aprende de sus propios resultados filtrados, RFT evita la inestabilidad y los dolores de cabeza de ajuste del RL con gradiente de políticas y al mismo tiempo aprovecha una señal de recompensa.
Información técnica
RFT aprovecha el hecho de que tomar muestras muchas veces y mantener la respuesta de máxima recompensa se aproxima a elegir entre una distribución más nítida y de mayor calidad. El entrenamiento de esos ganadores a través de entropía cruzada estándar destila efectivamente ese mejor comportamiento de N en los resultados de muestra única del modelo. Para dominios verificables como matemáticas o código, la "recompensa" puede ser simplemente si se aprueba la respuesta final o la prueba unitaria, eliminando por completo la necesidad de un modelo de recompensa aprendido.
Impacto Estratégico
Speed and scale
Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
Access and reach
Amplía el acceso a través de idiomas y estilos de comunicación.
Decisiones más claras
Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
El futuro del ajuste del muestreo de rechazo
RFT es fundamental para la posformación moderna y se utiliza a menudo antes o junto con métodos de RL como PPO y DPO. Su atractivo crece con inferencias baratas y verificadores automáticos sólidos: a medida que los modelos mejoran en la autogeneración y la autoverificación, el muestreo de rechazo iterado respalda los datos sintéticos y los ciclos de automejora. Espere una integración más estrecha con modelos de razonamiento que produzcan cadenas de pensamiento verificables y un estudio continuo sobre cómo evitar la piratería de recompensas y el colapso de la diversidad cuando se entrena repetidamente con los resultados propios de un modelo.
Implementación en el mundo real
Alinear modelos estilo Llama muestreando múltiples respuestas por mensaje, manteniendo las puntuaciones más altas del modelo de recompensa, luego SFT en esas
Mejorar un solucionador matemático generando muchas soluciones y reteniendo solo aquellas que alcanzan la respuesta correcta y verificable.
Generación de código donde los candidatos se conservan solo si pasan las pruebas unitarias y luego se utilizan como datos de entrenamiento.
Creación de conjuntos de datos de instrucciones sintéticas filtrando las mejores respuestas autogeneradas de un modelo para la siguiente ronda de entrenamiento
Riesgos y barandillas
Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Hoja de ruta de implementación
Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rejection Sampling Fine-Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
QLoRA y ajuste fino de 4 bits
Preguntas frecuentes
What is Rejection Sampling Fine-Tuning?
El ajuste fino del muestreo de rechazo (RFT) genera muchas respuestas candidatas, mantiene solo las de mejor puntuación y vuelve a entrenar el modelo con esos ganadores. Es importante porque ofrece gran parte de los beneficios de RLHF al utilizar un aprendizaje supervisado sencillo en lugar de un aprendizaje por refuerzo complejo.
¿Cuál es la idea central del ajuste fino del muestreo de rechazo?
RFT toma muestras de múltiples respuestas, filtra las que tienen mayor puntuación y ajusta el modelo en función de esos ganadores.
En dominios verificables como las matemáticas o el código, ¿qué puede servir como recompensa?
Para tareas verificables, RFT puede utilizar la corrección exacta o pasar pruebas unitarias, evitando un modelo de recompensa aprendido.
¿Qué familia de modelos utilizó el muestreo de rechazo durante la alineación?
Meta describió el uso de muestreo de rechazo como parte de la receta posterior al entrenamiento para los modelos Llama 2 y Llama 3.
¿Por qué los equipos podrían preferir RFT a RL con gradiente de políticas como PPO?
RFT se vuelve a entrenar con la pérdida estándar del siguiente token en muestras filtradas, evitando la dificultad de ajuste y la inestabilidad de los métodos de gradiente de políticas.
¿Qué hace efectivamente la capacitación en las muestras de máxima recompensa?
Al aprender de las respuestas mejor filtradas, el modelo internaliza un comportamiento de mayor calidad en una sola generación.