Ajuste de instrucciones
El ajuste de instrucciones es el paso de entrenamiento que convierte un predictor de texto sin formato en un modelo que realmente sigue instrucciones como "resume esto" o "escribe una respuesta cortés". Es lo que hace que un modelo base parezca útil y manejable.
Buceo profundo
Un modelo de lenguaje base está entrenado solo para predecir el siguiente token en el texto web, por lo que si escribe una pregunta, es posible que continúe con más preguntas en lugar de responder. El ajuste de instrucciones soluciona este problema. Es una forma de ajuste supervisado: el modelo se entrena en muchos pares de (instrucción, respuesta ideal) que cubren miles de tareas: traducción, resumen, clasificación, preguntas y respuestas, codificación y más. Al ver repetidamente el mismo patrón de instrucción y luego respuesta útil, el modelo aprende el comportamiento general de "hacer lo que el usuario pide" y esto se generaliza a instrucciones que nunca vio en el entrenamiento. El enfoque se estableció alrededor de 2021 mediante trabajos como FLAN, T0 y Natural Instrucciones, y fue fundamental para InstructGPT de OpenAI, que afinó GPT-3 en un conjunto seleccionado de instrucciones. Es la base sobre la que se basan la mayoría de los asistentes de chat.
Información técnica
Mecánicamente, el ajuste de instrucciones es un aprendizaje supervisado estándar: minimiza la diferencia entre los tokens predichos del modelo y la respuesta de referencia, con gradientes que actualizan los pesos. Es distinto del RLHF (aprendizaje por refuerzo a partir de la retroalimentación humana), que sigue y optimiza las preferencias humanas mediante un modelo de recompensa. La receta habitual consta de capas: preentrenamiento, luego ajuste de instrucciones (SFT) para enseñar a seguir las tareas y luego, opcionalmente, RLHF para refinar el tono, la ayuda y la seguridad. La diversidad de datos importa más que el simple volumen: la amplia cobertura de tareas impulsa la generalización.
Impacto Estratégico
Speed and scale
Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
Access and reach
Amplía el acceso a través de idiomas y estilos de comunicación.
Decisiones más claras
Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
El futuro del ajuste de la instrucción
El campo está pasando de conjuntos de datos gigantes escritos a mano a datos parcialmente sintéticos de mayor calidad (a veces sólo unos pocos miles de ejemplos cuidadosamente elegidos) después de descubrir que la calidad de los datos puede superar a la cantidad. Espere más ajustes de instrucción específicos de dominio (médico, legal, codificación), conjuntos de instrucciones multilingües y multimodales, y canales automatizados que generan y filtran datos de instrucción. El ajuste de instrucciones seguirá siendo el puente esencial entre un modelo sin procesar previamente entrenado y un asistente utilizable, combinado cada vez más con la optimización de preferencias para la alineación.
Implementación en el mundo real
Convertir un modelo básico de estilo GPT en un asistente de chat que responde preguntas en lugar de repetirlas
FLAN-T5, ajustado en muchas tareas para que pueda seguir instrucciones en las que nunca fue entrenado explícitamente
InstructGPT, donde las instrucciones de GPT-3 se ajustaron según indicaciones seleccionadas para producir respuestas mucho más útiles
Creación de un asistente interno de la empresa mediante el ajuste de pares de instrucción-respuesta escritos por los equipos legales y de soporte.
Riesgos y barandillas
Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Hoja de ruta de implementación
Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Instruction Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Ajuste de prefijo
Preguntas frecuentes
What is Instruction Tuning?
El ajuste de instrucciones es el paso de entrenamiento que convierte un predictor de texto sin formato en un modelo que realmente sigue instrucciones como "resume esto" o "escribe una respuesta cortés". Es lo que hace que un modelo base parezca útil y manejable.
¿En qué se diferencia el ajuste de instrucciones del RLHF?
El ajuste de la instrucción es un aprendizaje supervisado sobre las respuestas objetivo. RLHF viene después y optimiza el modelo en función de las preferencias humanas aprendidas.
¿Qué propiedad de los datos de ajuste de instrucciones impulsa más la capacidad de un modelo para seguir instrucciones nuevas e invisibles?
Al cubrir una amplia variedad de tareas, se enseña el comportamiento general de seguir instrucciones, lo que se generaliza a instrucciones nunca vistas en el entrenamiento.
¿Cuál es el orden típico de las etapas de formación de un asistente de chat moderno?
Los modelos primero se entrenan previamente en texto sin formato, luego se ajustan las instrucciones para seguir las tareas y, a menudo, se refinan con RLHF para lograr tono y seguridad.