Cómo analizar los resultados de la encuesta con IA

Los datos de las encuestas son de dos tipos y necesitan un manejo diferente. Las preguntas cerradas, como las de opción múltiple o las escalas de acuerdo de 1 a 5, son problemas de conteo. Sus totales deben provenir de una hoja de cálculo o del código que ejecuta la IA, nunca de la estimación del modelo. Las respuestas abiertas son un problema de lectura y aquí es donde los modelos lingüísticos son más útiles. Los investigadores llevan mucho tiempo analizando respuestas abiertas mediante un proceso llamado codificación. Crean un libro de códigos, una lista de temas nombrados con definiciones y etiquetan cada respuesta con uno o más temas. La codificación deductiva comienza a partir de las categorías esperadas. La codificación inductiva permite que surjan temas a partir de lo que la gente realmente escribió. Un modelo de lenguaje puede realizar una primera ronda rápida de codificación inductiva. Un flujo de trabajo confiable: haga que el modelo lea una muestra y proponga temas, revise y edite el libro de códigos usted mismo, haga que el modelo aplique ese libro de códigos fijo a cada respuesta y verifique una muestra de sus etiquetas a mano. Los fallos comunes son predecibles. Un modelo puede escribir "alrededor del 40% del precio mencionado" sin contar nada. Puede producir citas que parezcan reales pero que sean reformulaciones o combinaciones de varias respuestas. Si se le da más texto del que puede manejar a la vez, puede omitir respuestas silenciosamente. También puede tratar el promedio de una escala de 1 a 5 como la historia completa, aunque la variedad de respuestas suele ser más importante. Mucha gente supone que si la IA indica un número, cuenta. A menos que haya ejecutado código sobre datos etiquetados que pueda inspeccionar, probablemente no lo hizo. La IA tampoco puede solucionar problemas con quién respondió. Si solo respondieron sus clientes más satisfechos, un análisis perfecto aún los describe solo a ellos. Tenga cuidado también con los subgrupos: un porcentaje basado en ocho personas puede variar mucho cuando una persona responde de manera diferente.