Creación de un cuestionario de conjunto de datos de evaluación de LLM

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué recomienda la guía como la mejor fuente de partida para los casos de evaluación?
   • Solo preguntas sintéticas generadas por LLM
   • Tablas de clasificación de referencia públicas
   • Texto aleatorio extraído de Internet
   • Uso real, como registros, tickets de soporte y consultas de búsqueda.
2. ¿Cuándo es más apropiada una rúbrica que una única respuesta de oro?
   • Para una tarea de clasificación con etiquetas fijas
   • Para tareas abiertas donde muchas redacciones diferentes pueden ser correctas
   • Para extraer un número de factura exacto
   • Una rúbrica nunca es más apropiada
3. ¿Cuál de estos es un criterio de rúbrica bien escrito?
   • es util
   • Suena natural
   • Menciona la fecha límite de reembolso.
   • es de alta calidad
4. Con 100 casos de aprobación/reprobación y una tasa de aprobación cercana al 80 por ciento, ¿qué dice la guía sobre el margen de error?
   • Es aproximadamente más o menos 8 puntos porcentuales, por lo que una mejora de dos puntos parece ruido.
   • Se trata de más o menos 0,1 puntos porcentuales.
   • es exactamente cero
   • Se trata de más o menos 50 puntos porcentuales.
5. ¿Cuál es el propósito de un corte de regresión?
   • Para eliminar casos obsoletos automáticamente
   • Para acelerar las respuestas del modelo.
   • Para mantener fallas pasadas en el conjunto para que las correcciones sigan siendo probadas
   • Entrenar el modelo sobre sus propios errores.
6. ¿Qué debe hacer antes de confiar en un juez de LLM para calificar los elementos de la rúbrica?
   • Sube la temperatura del juez
   • Quitar la rúbrica para que el juez pueda decidir libremente
   • Pon a prueba al juez en un solo caso
   • Haga que las personas etiqueten una muestra y midan con qué frecuencia el juez está de acuerdo con ellos.
7. ¿Por qué conservar una parte reservada del conjunto de datos con la que no se sintoniza?
   • Para evitar el sobreajuste de mensajes al conjunto de prueba
   • Para ahorrar espacio de almacenamiento
   • Porque la normativa lo exige
   • Para reducir la latencia
8. ¿Por qué son útiles las comparaciones por pares en los mismos casos cuando se comparan dos versiones?
   • Eliminan la necesidad de cualquier nivelador
   • Por lo general, necesitan menos ejemplos que comparar muestras independientes.
   • Eliminan todo el no determinismo de los resultados del modelo.
   • Garantizan una puntuación perfecta