Prueba de LLM como juez

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿A qué se refiere 'LLM-como-juez'?
   • Usar un modelo de lenguaje para calificar o comparar los resultados de otro modelo
   • Usar un modelo de lenguaje para escribir veredictos legales
   • Un modelo que sólo responde preguntas de sí/no
   • Un modelo que clasifica los resultados de búsqueda por fecha
2. ¿Cuál es la diferencia entre juzgar por puntos y por parejas?
   • Puntualmente es más rápido; por pares es más lento pero idéntico por lo demás
   • Pointwise califica una respuesta según una rúbrica; por parejas elige lo mejor de dos
   • Pointwise solo funciona para código; por pares solo para prosa
   • No hay una diferencia real
3. ¿Cuál de estos es un sesgo bien documentado en los jueces de LLM?
   • Preferir respuestas escritas en mayúsculas.
   • Prefiriendo siempre la primera palabra alfabéticamente.
   • Favorecer respuestas más largas independientemente de la calidad
   • Negarse a calificar preguntas sobre historia
4. ¿Cómo contrarrestan los evaluadores el sesgo de posición en las comparaciones por pares?
   • Mostrando solo una respuesta a la vez
   • Poniendo siempre primero la respuesta más larga
   • Eliminando el campo de justificación
   • Ejecutando cada comparación dos veces con el orden intercambiado
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. ¿Cómo puede un equipo confirmar que un juez de LLM se mantiene alineado con las preferencias humanas?
   • Al no volver a comprobarlo después de la configuración
   • Calibrándolo con un conjunto de oro etiquetado por humanos.
   • Haciendo que el juez se califique a sí mismo
   • Usándolo solo los fines de semana.
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens