que paso
The Guardian informa que las presentaciones de investigaciones parlamentarias australianas se están viendo afectadas por información errónea generada por IA, incluidos estudios inventados y citas incorrectas atribuidas a académicos y autores reales. Su análisis identificó al menos 39 envíos que contenían referencias que parecían no existir, mientras que más de 100 artículos incluían etiquetas URL ChatGPT en enlaces de referencia.
The Guardian informa que docenas de presentaciones de todo el espectro político a las actuales investigaciones parlamentarias de Australia contenían referencias que parecían haber sido generadas o alteradas por grandes modelos lingüísticos. Los errores reportados incluyeron estudios inventados, artículos inexistentes, detalles de páginas incorrectos e investigadores reales asociados con trabajos que no habían producido. Las presentaciones cubrieron áreas de políticas que incluyen violencia familiar, suicidio, desigualdad en la vivienda y desinformación climática.
El informe describe una presentación a una investigación sobre violencia familiar y suicidio que atribuyó una referencia inexistente y resultados de investigación incorrectos a Divna Haslam, profesora asociada y psicóloga clínica de la Universidad de Queensland. Haslam dijo a The Guardian que la cita parecía lo suficientemente plausible como para engañar a alguien que sólo realizara una revisión superficial. La organización presentadora, Drilldown Reports, dijo que había utilizado IA en su proceso de investigación y luego identificó los errores, pero no cumplió con el plazo para corregir la presentación original.
The Guardian dice que creó un programa personalizado que extraía referencias de documentos de investigación y los buscaba en Crossref y Google Scholar. También verificó los identificadores de objetos digitales cuando estaban disponibles y revisó manualmente los documentos en los que al menos el 20% de las referencias no podían coincidir. La cifra resultante fue de al menos 39 envíos con referencias aparentemente alucinadas. The Guardian caracterizó esa cifra como conservadora porque el método sólo podía detectar errores en documentos que contenían referencias, no en textos sin fundamento producidos sin citas.
La investigación también encontró más de 100 artículos que contenían etiquetas URL ChatGPT en enlaces de referencia. The Guardian advierte que dichas etiquetas no prueban que una persona haya utilizado ChatGPT directamente, porque el material puede haber sido copiado de una fuente de terceros. Asimismo, dice que las citas no coincidentes pueden indicar el uso de IA, pero no lo establecen en todos los casos. Por lo tanto, el informe presenta sus hallazgos como evidencia de errores aparentes generados o asistidos por la IA, no como una medición definitiva de todo el uso de la IA en las presentaciones parlamentarias.
Detalles de la fuente: theguardian.com ↗
Por qué es importante
Las investigaciones parlamentarias tienen como objetivo proporcionar a los legisladores pruebas de expertos, organizaciones y miembros del público. Si las citas inventadas entran en ese proceso y se tratan como creíbles, las decisiones podrían basarse en investigaciones inexistentes y la confianza del público en las instituciones democráticas podría debilitarse.
Las presentaciones de investigaciones parlamentarias pueden moldear la forma en que los comités entienden los problemas públicos y evalúan las leyes o programas propuestos. The Guardian informa que algunos informes del comité citaron presentaciones que contenían referencias que parecían inventadas. Eso crea el riesgo de que una afirmación sin fundamento pueda ganar peso institucional simplemente porque ha entrado en un proceso oficial de recopilación de pruebas.
El daño práctico no se limita a una sola nota a pie de página incorrecta. Los investigadores citados por The Guardian dijeron que las citas inventadas pueden romper la cadena entre una afirmación política y la evidencia que supuestamente la respalda. En áreas como la violencia doméstica, la salud, la inmigración y la política climática, las decisiones basadas en estudios inexistentes podrían desviar la atención, distorsionar el debate o socavar la protección de las personas afectadas. La fuente no establece que se haya promulgado ninguna política australiana específica debido a una cita alucinada, por lo que la consecuencia sigue siendo un riesgo más que un resultado demostrado.
El episodio también ilustra un circuito de retroalimentación que involucra IA generativa y sistemas de búsqueda. The Guardian informa que el resumen de IA de Google a veces trataba una referencia falsa como genuina, mientras que los sistemas ChatGPT y Google podían citar el envío de la consulta que contenía el error. Eso puede hacer que un documento inexacto parezca verificado de forma independiente incluso cuando el estudio subyacente no existe. El informe no prueba de forma independiente toda la gama de circunstancias en las que estos sistemas producen tales resúmenes, pero documenta el riesgo a través de los ejemplos que examinó.
La cuestión institucional más amplia es la rendición de cuentas. Según se informa, las directrices del Senado australiano advierten a los remitentes que la IA puede afectar la calidad de la información y que la precisión sigue siendo responsabilidad del remitente. El presidente del comité citado por The Guardian dijo que los comités reciben material de diferente calidad y deben interrogar las pruebas durante el proceso de investigación. La fuente deja abierto si los comités cuentan actualmente con el personal, las herramientas técnicas o los procedimientos necesarios para realizar ese escrutinio de manera consistente.
Mecanismo interactivo: cómo funciona realmente
Explore la tecnología subyacente detrás de este desarrollo de forma interactiva.
Why can ethical evaluation not be reduced to one model score?
Qué ver a continuación
Las preguntas inmediatas son si los comités parlamentarios introducirán reglas más estrictas de verificación o divulgación, cómo los remitentes corrigen el material ya presentado y si las agencias gubernamentales tienen recursos suficientes para verificar las referencias. The Guardian también buscó respuestas de OpenAI y Google sobre su papel en el refuerzo de referencias inexactas a través de sistemas de inteligencia artificial y resúmenes de búsqueda.
Esté atento a los cambios formales en la guía de presentación y las prácticas de revisión del comité. The Guardian informa que Christian Downie, profesor de la Universidad Nacional de Australia, pidió nuevas directrices que fomenten la veracidad y al mismo tiempo preserven un proceso de investigación abierto. Las posibles medidas podrían incluir una divulgación más clara de la asistencia de la IA, verificaciones obligatorias de las fuentes citadas, ventanas de corrección después de la presentación o requisitos más estrictos para las organizaciones que presenten evidencia basada en investigaciones. La fuente no dice que todavía se hayan adoptado reformas de este tipo.
Observe si los investigadores y remitentes afectados buscan correcciones o aclaraciones públicas. The Guardian informa que Nicole Gurran estaba vinculada a un trabajo que no existía y que Margaret Simons aparentemente estaba asociada con un artículo inexistente. Drilldown Reports dijo que había encontrado errores en una presentación de seguimiento, mientras que la Red Nacional de Energía Racional no respondió a la solicitud de comentarios de The Guardian. El estado de cada presentación en disputa y si los comités modifican sus informes sigue siendo una cuestión importante sin resolver.
Esté atento a la evidencia sobre la escala y distribución del problema más allá de los documentos con referencias formales. El programa de The Guardian no puede identificar prosa generada por IA que no contenga citas, y advierte que su cifra de 39 presentaciones subestima el uso de la IA. Al mismo tiempo, los detectores comerciales de IA pueden producir falsos positivos, por lo que cualquier sistema de aplicación de la ley futuro deberá distinguir las acusaciones sin fundamento de las fallas de citación verificables.
Observe cómo responden OpenAI y Google al ciclo de retroalimentación informado. OpenAI dijo a The Guardian que la reducción de las alucinaciones sigue siendo un área de investigación en curso y aconsejó a los usuarios que trataran ChatGPT como un primer borrador en lugar de una fuente final, verificando citas, datos y referencias externas. Google dijo que sus descripciones generales de IA tienen como objetivo hacer coincidir el contenido web con los términos de consulta, de manera similar a la búsqueda tradicional. Esas respuestas no resuelven si los resúmenes de IA deberían salir a la luz o reproducir afirmaciones de documentos que contienen referencias inventadas, lo que deja incierta la eficacia de las salvaguardias existentes.