A continuaciónSiguiente guía
LLM Eval Frameworks: Promptfoo and DeepEval
Técnico
GUÍA Técnica
Creación de un conjunto de datos de evaluación de LLM
Un conjunto de datos de evaluación de LLM es un conjunto seleccionado de entradas realistas, cada una combinada con una respuesta de oro, datos de referencia o una rúbrica de calificación, con el que ejecuta su aplicación para medir la calidad y detectar regresiones.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
Es importante porque un cambio en el mensaje, el modelo o la recuperación puede mejorar un comportamiento y alterar otro. Sin un conjunto de pruebas fijo, los equipos terminan juzgando los cambios mediante unos pocos ejemplos cuidadosamente seleccionados.
Buceo profundo
Comience con el uso real. Los registros, los tickets de soporte, las consultas de búsqueda y las entrevistas con los usuarios muestran lo que la gente realmente pregunta, incluidas las frases confusas que omiten los ejemplos inventados. Antes del lanzamiento, haga que los expertos en el dominio escriban sus aportaciones. Puede agregar casos sintéticos generados por un LLM, siempre que una persona los revise y elimine elementos duplicados o poco realistas. A continuación, defina qué significa correcto para cada caso. Algunas tareas tienen una respuesta correcta, como la clasificación, la extracción o la búsqueda de hechos. Para estos, almacene una respuesta de oro que pueda compararse exactamente o después de una ligera normalización. Para tareas abiertas, escriba una rúbrica de criterios específicos y verificables, como "menciona la fecha límite de reembolso" o "no recomienda un competidor". Criterios vagos como "es útil" conducen a calificaciones inconsistentes, ya sea que quien califica sea una persona o un juez modelo. Luego cubra intencionalmente la gama de entradas reales. Etiquete los casos por intención, dificultad, idioma y tipo de usuario, y verifique que los grupos importantes estén representados. Agregue casos extremos y entradas contradictorias: - preguntas ambiguas - solicitudes con información faltante - entradas muy largas - solicitudes fuera de alcance que deben rechazarse - intentos de inyección rápida Mantenga una porción de regresión hecha de fallas pasadas. Dimensione el conjunto según la decisión que debe soportar. Unas pocas docenas de casos bien elegidos pueden revelar problemas importantes en una etapa temprana. Detectar pequeñas diferencias de forma fiable requiere más. Con 100 casos de aprobación/rechazo y una tasa de aprobación cercana al 80 por ciento, el margen de error es aproximadamente de más o menos 8 puntos porcentuales con un 95 por ciento de confianza. Una mejora de dos puntos es indistinguible de un ruido de ese tamaño. Informe los resultados de cada segmento, no solo un promedio general. Un error común es considerar el conjunto de datos como terminado. Los productos y los usuarios cambian, así que actualícelos desde nuevos registros. Mantenga una parte reservada con la que nunca sintonice, para que sus indicaciones no se ajusten demasiado a la prueba.
Implementación en el mundo real
Un equipo de soporte exporta 300 tickets reales sin datos personales, etiqueta la resolución correcta para cada uno y califica cada nueva versión del mensaje según ellos.
Para un resumen de una reunión en el que muchos términos son correctos, el equipo escribe una rúbrica: cubre las tres decisiones clave, no hace afirmaciones sin fundamento y se mantiene en menos de 150 palabras.
El equipo agrega casos extremos: una entrada vacía, una pregunta en español, un documento que contiene un intento de inyección rápida y una solicitud fuera de alcance que el asistente debe rechazar.
Cuando un usuario informa una respuesta incorrecta en producción, el caso ingresa al conjunto de datos con la respuesta correcta, por lo que la solución permanece probada a partir de ese momento.
El futuro de la creación de un conjunto de datos de evaluación de LLM
Las herramientas de evaluación han madurado rápidamente. Los marcos de código abierto y las plataformas alojadas ahora administran conjuntos de datos, ejecutan calificadores y realizan un seguimiento de los resultados a lo largo del tiempo. La generación de datos sintéticos probablemente seguirá mejorando, lo que hace que los casos raros sean más baratos de cubrir. No puede reemplazar las aportaciones reales de los usuarios como ancla de lo que importa. A medida que las aplicaciones se vuelven más agentes, los conjuntos de evaluación incluyen cada vez más tareas de varios pasos calificadas tanto en función del resultado final como de los pasos dados a lo largo del camino. La disciplina central cambia lentamente: definir el éxito con claridad, cubrir aportaciones reales, utilizar suficientes casos para confiar en los números y actualizar el conjunto periódicamente desde la producción.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Building an LLM Eval Dataset quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es la creación de un conjunto de datos de evaluación LLM?
Un conjunto de datos de evaluación de LLM es un conjunto seleccionado de entradas realistas, cada una combinada con una respuesta de oro, datos de referencia o una rúbrica de calificación, con el que ejecuta su aplicación para medir la calidad y detectar regresiones. Es importante porque un cambio en el mensaje, el modelo o la recuperación puede mejorar un comportamiento y alterar otro. Sin un conjunto de pruebas fijo, los equipos terminan juzgando los cambios mediante unos pocos ejemplos cuidadosamente seleccionados.
¿Qué recomienda la guía como la mejor fuente de partida para los casos de evaluación?
El uso real capta lo que la gente realmente pregunta, incluidas las frases confusas. Los estuches sintéticos son un complemento revisado, no un reemplazo.
¿Cuándo es más apropiada una rúbrica que una única respuesta de oro?
Los resultados abiertos, como los resúmenes, no pueden coincidir exactamente. Los criterios específicos y verificables permiten a los calificadores juzgarlos de manera consistente.
¿Cuál de estos es un criterio de rúbrica bien escrito?
Un buen criterio es específico y comprobable. Criterios vagos como "es útil" conducen a calificaciones inconsistentes tanto por parte de las personas como de los modelos de jueces.
Con 100 casos de aprobación/reprobación y una tasa de aprobación cercana al 80 por ciento, ¿qué dice la guía sobre el margen de error?
Con un 95 por ciento de confianza, el margen es de aproximadamente 8 puntos en este tamaño. No se pueden confiar en las pequeñas diferencias entre versiones sin más casos.
¿Cuál es el propósito de un corte de regresión?
Agregar cada falla solucionada al conjunto de datos significa que un cambio posterior no puede reintroducir silenciosamente el mismo error.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.