Cómo crear rúbricas de calificación y cuestionarios con IA

En la evaluación es donde los errores de la IA cuestan más, porque una clave de respuestas incorrecta califica a los estudiantes correctos como incorrectos. Sin embargo, si se usa con cuidado, la IA puede acelerar dos trabajos tediosos: escribir descripciones de rúbricas y crear bancos de preguntas. Las **rúbricas** vienen en dos formas principales. Una rúbrica holística otorga una puntuación general. Una rúbrica analítica califica criterios separados, como tesis, evidencia y organización, en varios niveles, y brinda a los estudiantes comentarios más útiles. La prueba de una buena rúbrica es si dos calificadores darían la misma puntuación. El "buen uso de la evidencia" no pasa esa prueba; Se pasa 'respalda cada afirmación con al menos una fuente citada relevante'. Pídale a la IA descripciones observables con redacción paralela, de modo que cada nivel se diferencie del siguiente de una manera clara. **Las preguntas de opción múltiple** se sostienen o caen sobre sus distractores, las opciones equivocadas. Un buen distractor tienta a los estudiantes que tienen una idea errónea real, pero no a los estudiantes que entienden el material. Las pautas establecidas para la redacción de ítems le aconsejan lo siguiente: - evitar "todo lo anterior" - evitar pistas gramaticales que delaten la respuesta - evitar, o usar con moderación, palabras negativas como "Lo que NO es" - evitar que la opción correcta sea notablemente más larga que el resto Dígale a la IA que siga estas reglas y base cada distractor en un concepto erróneo específico. Los principales riesgos son las claves de respuestas incorrectas, especialmente en matemáticas y ciencias de varios pasos, y las preguntas ambiguas con dos respuestas defendibles. Los modelos también pueden mostrar un sesgo de posición, colocando la respuesta correcta en el mismo espacio con más frecuencia de lo que lo haría el azar, así que baraje las opciones. Una comprobación útil es abrir un chat nuevo sin la clave y hacer que el modelo responda todas las preguntas. Cuando sus respuestas no estén de acuerdo con la clave, revise la pregunta a mano. Un error común es pensar que las etiquetas de dificultad de la IA son medidas. Son conjeturas. La verdadera dificultad proviene del desempeño real de los estudiantes, algo que sólo se aprende probando las preguntas y analizando los resultados.