Evaluaciones de Maestría en Derecho

Evaluar el sistema que realmente reciben los usuarios. Un modelo con recuperación, herramientas y un mensaje particular puede comportarse de manera diferente que el mismo modelo probado solo. Conserve estas configuraciones con el registro de evaluación, incluidos los límites en las llamadas y reintentos de herramientas. Combine controles deterministas con juicios que requieran interpretación. La coincidencia exacta funciona para algunos campos extraídos o pruebas ejecutables, mientras que un resumen puede necesitar una rúbrica para evidencia y omisiones. Escriba la rúbrica para que diferentes revisores puedan aplicarla de manera consistente y examine los desacuerdos. Un modelo puede ayudar a calificar, pero su juicio es otro proceso de medición con posibles sesgos. Compárelo con ejemplos revisados ​​de forma independiente, varíe el orden de las respuestas cuando corresponda e inspeccione si premia la verbosidad o el estilo más que la corrección. No trate un modelo que aprueba otro como prueba independiente. Incluya preguntas sin respuesta, fuentes contradictorias, casos de contexto extenso e instrucciones maliciosas en el material recuperado cuando sean relevantes. Informe los resultados por tarea y gravedad del error. Conserve los ejemplos fallidos como casos de regresión mientras actualiza el material retenido para que la evaluación no se convierta en un objetivo memorizado.