A continuaciónSiguiente guía
Versiones rápidas y pruebas de regresión
Técnico
GUÍA Técnica
Optimización automática de avisos y DSPy
La optimización automática de mensajes utiliza un algoritmo para buscar mejores instrucciones o ejemplos de pocas tomas.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
Califica las indicaciones de los candidatos según una métrica en un conjunto de ejemplos en lugar de depender de una redacción modificada manualmente. Los enfoques más conocidos incluyen APE, OPRO de Google DeepMind y DSPy, un marco de código abierto de Stanford. Juntos convierten la ingeniería rápida de conjeturas en un proceso mensurable y repetible.
Buceo profundo
Las indicaciones ajustadas manualmente tienen una debilidad conocida. La redacción que funciona para un modelo, conjunto de datos o versión puede dejar de funcionar silenciosamente en otro, y los cambios generalmente se juzgan basándose solo en un puñado de ejemplos. La optimización automática de mensajes reemplaza ese bucle con una búsqueda. Proporcionas tres cosas: - Una tarea. - Un conjunto de insumos, idealmente con los resultados esperados. - Una métrica, como una coincidencia exacta o una rúbrica puntuada por otro modelo. El optimizador genera solicitudes de candidatos, las ejecuta, las califica y mantiene a los ganadores. Los primeros ejemplos concretaron la idea. APE (Automatic Prompt Engineer, Zhou et al., 2022) hizo que un modelo propusiera muchas instrucciones a partir de ejemplos de entrada y salida y luego mantuvo las de mayor puntuación. OPRO (Optimización por PROmpting, Yang et al., Google DeepMind, 2023) utilizó un LLM como optimizador. Su meta-indicador enumeraba instrucciones anteriores con sus puntuaciones y el modelo proponía otras nuevas. OPRO encontró instrucciones como "Respira profundamente y trabaja en este problema paso a paso", que obtuvieron buenos resultados para un modelo particular de matemáticas de escuela primaria. La redacción optimizada puede ser poco intuitiva y específica de un modelo. DSPy va más allá al cambiar la forma en que se escriben los programas. Fue desarrollado en Stanford NLP por Omar Khattab y sus colaboradores y presentado en 2023. Declaras lo que hace cada paso con una firma, como "pregunta, contexto -> respuesta", y combinas módulos como Predict o ChainOfThought. Un optimizador (anteriormente llamado teleprompter), como BootstrapFewShot o MIPROv2, luego "compila" el programa eligiendo demostraciones e instrucciones para cada módulo para maximizar su métrica. Vale la pena corregir tres conceptos erróneos: - Estas herramientas eliminan el juicio humano. No es así, porque la métrica y los ejemplos definen "mejor". - Es seguro confiar en las indicaciones optimizadas. Pueden sobreajustar un pequeño conjunto de datos. - La optimización es gratuita. Cuesta llamadas API reales, a veces muchas.
Implementación en el mundo real
Un equipo que crea un clasificador de tickets de soporte escribe una firma DSPy "ticket -> categoría" y proporciona 200 tickets etiquetados y una métrica de precisión. Luego, un optimizador selecciona las demostraciones de pocas tomas que obtienen mejores resultados.
Cuando una empresa pasa de un proveedor de LLM a otro, vuelve a ejecutar su optimizador DSPy para el nuevo modelo. No reescribe manualmente las indicaciones que se ajustaron para el modelo anterior.
Un investigador ejecuta un bucle estilo OPRO. Un modelo propone nuevas redacciones para una instrucción, cada redacción se califica según un punto de referencia de matemáticas y el historial de mejor puntuación vuelve a la siguiente ronda de propuestas.
Un canal de preguntas y respuestas con recuperación aumentada está optimizado de principio a fin, con una métrica que compara las respuestas finales con las respuestas de referencia. Tanto el paso de redacción de consultas como el paso de respuesta mejoran juntos.
El futuro de la optimización automática de avisos y DSPy
La optimización rápida se está convirtiendo en una parte normal de la ingeniería LLM, junto con los conjuntos de evaluación, en lugar de una curiosidad de investigación. Quedan preguntas abiertas. ¿Qué tan bien se transfieren las indicaciones optimizadas entre modelos? ¿Cómo se escriben métricas para cualidades subjetivas como el tono o la utilidad? ¿Cómo se evita el sobreajuste de pequeños conjuntos de datos? Algunas investigaciones combinan una optimización rápida con un ajuste ligero y DSPy admite ambos. Los modelos cambian con frecuencia, por lo que la capacidad de volver a optimizar automáticamente frente a un conjunto de pruebas estable probablemente importe más que cualquier mensaje inteligente. Definir buenas métricas y ejemplos sigue siendo un trabajo humano.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Automatic Prompt Optimization and DSPy quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es la optimización automática de avisos y DSPy?
La optimización automática de mensajes utiliza un algoritmo para buscar mejores instrucciones o ejemplos de pocas tomas. Califica las indicaciones de los candidatos según una métrica en un conjunto de ejemplos en lugar de depender de una redacción modificada manualmente. Los enfoques más conocidos incluyen APE, OPRO de Google DeepMind y DSPy, un marco de código abierto de Stanford. Juntos convierten la ingeniería rápida de conjeturas en un proceso mensurable y repetible.
¿Qué debe proporcionar para que funcione la optimización automática de avisos?
El optimizador necesita una tarea, ejemplos y una métrica para poder calificar las indicaciones de los candidatos y conservar las mejores.
En OPRO, ¿qué desempeña el papel del optimizador?
OPRO utiliza un modelo de lenguaje como optimizador. Ve instrucciones pasadas con sus puntuaciones y propone otras nuevas.
¿Qué ilustra el resultado de OPRO "Respira profundamente y trabaja en este problema paso a paso"?
La instrucción obtuvo buenos resultados en un modelo particular de matemáticas de la escuela primaria. Las palabras encontradas mediante la búsqueda pueden resultar sorprendentes y es posible que no se apliquen a otros modelos.
¿Qué es una firma DSPy?
Las firmas declaran lo que debe hacer un módulo en términos de sus campos de entrada y salida. Luego, DSPy resuelve el mensaje.
¿Cómo obtiene BootstrapFewShot de DSPy sus demostraciones?
Los seguimientos exitosos se convierten en ejemplos de pocas tomas, incluidos los pasos internos que usted nunca etiquetó.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.