Cuestionario vinculado a una guía · Medio Nivel
Cuestionario de evaluaciones de LLM
Evalúe los criterios de las tareas, las configuraciones implementadas, las rúbricas de puntuación, la validación de los jueces, los casos difíciles, la gravedad de los errores y los ejemplos de regresión.
Pregunta 1 de 8
¿Qué debe medir una evaluación de LLM?
Vista previa de cada pregunta8 preguntas
Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.
- ¿Qué debe medir una evaluación de LLM?
- Una tarea definida y sus condiciones de falla relevantes.
- Sólo si la respuesta suena fluida
- El parámetro del modelo cuenta solo.
- Si un punto de referencia es popular
- ¿Por qué evaluar la configuración del sistema que realmente reciben los usuarios?
- El modelo base no puede producir texto.
- Las indicaciones, la recuperación, las herramientas y los límites de llamadas pueden cambiar el comportamiento
- La aplicación siempre puntúa más alto
- Un sistema implementado no se puede probar
- ¿Cuándo puede la coincidencia exacta ser una verificación de evaluación adecuada?
- Por cada respuesta abierta
- Sólo cuando los revisores no están de acuerdo
- Para algunos campos extraídos o pruebas ejecutables
- Para medir el costo de la respuesta
- ¿Qué ayuda a los diferentes revisores a aplicar una rúbrica interpretativa de manera consistente?
- Ocultar los criterios de puntuación
- Utilice una puntuación de preferencia única
- Eliminar ejemplos que sean difíciles de juzgar
- Escriba la rúbrica con claridad y examine los desacuerdos de los revisores.
- ¿Cómo debería un equipo validar un modelo utilizado para calificar los resultados?
- Compruébelo con ejemplos revisados de forma independiente e inspeccione el orden o los efectos de estilo.
- Trate su puntuación como prueba independiente
- Pídele al mismo modelo que se apruebe solo.
- Utilice sólo su puntuación media
- ¿Qué casos puede ser útil incluir cuando sean relevantes para la solicitud?
- Sólo preguntas cortas con una respuesta obvia.
- Preguntas sin respuesta, fuentes contradictorias, casos de contexto prolongado e instrucciones recuperadas maliciosas
- Sólo se utilizan indicaciones durante el desarrollo.
- No hay ejemplos difíciles
- ¿Cómo se deben informar los resultados de la evaluación?
- Como un número de preferencia sin contexto
- Sólo por tamaño de modelo
- Por tarea y gravedad de error
- Como afirmación de que se elimina la incertidumbre.
- ¿Qué debe hacer un equipo con ejemplos fallidos?
- Deséchalos después de calcular una puntuación.
- Agréguelos a las indicaciones hasta que pasen todos los casos.
- Trátelos como prueba de desempeño general.
- Conservarlos como casos de regresión y actualizar el material retenido con el tiempo.