Cosa è successo
Il Guardian riferisce che le richieste di indagine parlamentare australiana sono influenzate dalla disinformazione generata dall’intelligenza artificiale, inclusi studi inventati e citazioni errate attribuite a accademici e autori reali. La sua analisi ha identificato almeno 39 contributi contenenti riferimenti che sembravano non esistere, mentre più di 100 articoli includevano tag URL ChatGPT nei collegamenti di riferimento.
Il Guardian riferisce che dozzine di contributi provenienti da tutto lo spettro politico alle attuali inchieste parlamentari australiane contenevano riferimenti che sembravano essere generati o alterati da ampi modelli linguistici. Gli errori segnalati includevano studi inventati, articoli inesistenti, dettagli di pagina errati e ricercatori reali associati a lavori che non avevano prodotto. Le proposte riguardavano aree politiche tra cui la violenza familiare, il suicidio, la disuguaglianza abitativa e la disinformazione climatica.
Il rapporto descrive la presentazione di un'indagine su violenza familiare e suicidio che attribuiva un riferimento inesistente e risultati di ricerca errati a Divna Haslam, professoressa associata e psicologa clinica dell'Università del Queensland. Haslam ha detto al Guardian che la citazione sembrava sufficientemente plausibile da fuorviare qualcuno che avesse condotto solo una revisione superficiale. L’organizzazione richiedente, Drilldown Reports, ha affermato di aver utilizzato l’intelligenza artificiale nel suo processo di ricerca e di aver successivamente identificato gli errori, ma di non aver rispettato la scadenza per correggere la presentazione originale.
Il Guardian afferma di aver creato un programma personalizzato che estraeva i riferimenti dai documenti di indagine e li cercava rispetto a Crossref e Google Scholar. Ha inoltre controllato gli identificatori di oggetti digitali ove disponibili e rivisto manualmente i documenti in cui non è stato possibile trovare una corrispondenza per almeno il 20% dei riferimenti. Il numero risultante è stato di almeno 39 proposte con riferimenti apparentemente allucinati. Il Guardian ha definito quel numero come conservativo perché il metodo poteva rilevare solo errori nei documenti contenenti riferimenti, non testi non supportati prodotti senza citazioni.
L'indagine ha inoltre rilevato più di 100 documenti contenenti tag URL ChatGPT nei collegamenti di riferimento. Il Guardian avverte che tali tag non dimostrano che una persona abbia utilizzato direttamente ChatGPT, poiché il materiale potrebbe essere stato copiato da una fonte di terze parti. Allo stesso modo afferma che le citazioni non corrispondenti possono indicare l’uso dell’intelligenza artificiale ma non lo dimostrano in ogni caso. Il rapporto presenta quindi i suoi risultati come prova di errori apparenti generati o assistiti dall’IA, non come una misurazione definitiva di tutto l’uso dell’IA nelle proposte parlamentari.
Dettagli della fonte: theguardian.com ↗
Perché è importante
Le inchieste parlamentari hanno lo scopo di fornire ai legislatori prove fornite da esperti, organizzazioni e membri del pubblico. Se le citazioni inventate entrassero in questo processo e fossero trattate come credibili, le decisioni potrebbero basarsi su ricerche inesistenti e la fiducia del pubblico nelle istituzioni democratiche potrebbe essere indebolita.
Le proposte di indagine parlamentare possono influenzare il modo in cui le commissioni comprendono i problemi pubblici e valutano le leggi o i programmi proposti. Il Guardian riferisce che alcuni rapporti della commissione citavano documenti contenenti riferimenti che sembravano inventati. Ciò crea il rischio che un’affermazione non supportata possa acquisire peso istituzionale semplicemente perché è entrata in un processo ufficiale di raccolta delle prove.
Il danno pratico non si limita a una singola nota a piè di pagina errata. I ricercatori citati dal Guardian hanno affermato che le citazioni inventate possono spezzare la catena tra un’affermazione politica e le prove presumibilmente a sostegno di essa. In settori quali la violenza domestica, la salute, l’immigrazione e la politica climatica, le decisioni basate su studi inesistenti potrebbero indirizzare erroneamente l’attenzione, distorcere il dibattito o minare le tutele delle persone colpite. La fonte non dimostra che alcuna specifica politica australiana sia stata attuata a causa di una citazione allucinatoria, quindi tale conseguenza rimane un rischio piuttosto che un risultato dimostrato.
L’episodio illustra anche un ciclo di feedback che coinvolge l’intelligenza artificiale generativa e i sistemi di ricerca. Il Guardian riferisce che il riepilogo AI di Google a volte trattava un riferimento falso come autentico, mentre i sistemi ChatGPT e Google potevano citare la richiesta inviata contenente l'errore. Ciò può far sembrare un documento inaccurato verificato in modo indipendente anche quando lo studio sottostante non esiste. Il rapporto non verifica in modo indipendente l’intera gamma di circostanze in cui questi sistemi producono tali sintesi, ma documenta il rischio attraverso gli esempi esaminati.
La questione istituzionale più ampia è la responsabilità. Secondo quanto riferito, le linee guida del Senato australiano avvertono gli autori delle segnalazioni che l’intelligenza artificiale può influire sulla qualità delle informazioni e che l’accuratezza rimane responsabilità dell’autore delle segnalazioni. Il presidente della commissione citato dal Guardian ha affermato che le commissioni ricevono materiale di varia qualità e devono interrogare le prove durante il processo di indagine. La fonte lascia aperta la questione se i comitati dispongano attualmente del personale, degli strumenti tecnici o delle procedure necessarie per eseguire tale controllo in modo coerente.
Meccanismo interattivo: come funziona realmente
Esplora la tecnologia alla base di questo sviluppo in modo interattivo.
Why can ethical evaluation not be reduced to one model score?
Cosa guardare dopo
Le domande immediate sono se le commissioni parlamentari introdurranno regole più severe di verifica o divulgazione, come i presentatori correggeranno il materiale già archiviato e se le agenzie governative disporranno di risorse sufficienti per verificare le referenze. Il Guardian ha anche cercato risposte da OpenAI e Google sul loro ruolo nel rafforzare riferimenti imprecisi attraverso sistemi di intelligenza artificiale e riepiloghi di ricerca.
Controlla le modifiche formali alle linee guida per la presentazione e alle pratiche di revisione del comitato. Il Guardian riferisce che Christian Downie, professore dell'Australian National University, ha chiesto nuove linee guida che incoraggino la veridicità preservando al contempo un processo di indagine aperto. Le possibili misure potrebbero includere una divulgazione più chiara dell’assistenza fornita dall’IA, controlli obbligatori per le fonti citate, finestre di correzione dopo la presentazione o requisiti più rigorosi per le organizzazioni che presentano prove basate sulla ricerca. La fonte non dice che tali riforme siano state ancora adottate.
Controlla se i ricercatori e i presentatori interessati cercano correzioni o chiarimenti pubblici. Il Guardian riferisce che Nicole Gurran era collegata a un lavoro che non esisteva e che Margaret Simons era apparentemente associata a un articolo inesistente. Drilldown Reports ha affermato di aver riscontrato errori in una richiesta di follow-up, mentre il National Rational Energy Network non ha risposto alla richiesta di commento del Guardian. Lo stato di ogni proposta contestata e se le commissioni modificano i loro rapporti rimane un'importante questione irrisolta.
Cercare prove sulla portata e sulla distribuzione del problema al di là dei documenti con riferimenti formali. Il programma del Guardian non è in grado di identificare la prosa generata dall’intelligenza artificiale che non contiene citazioni e avverte che la cifra di 39 invii sottostima l’utilizzo dell’intelligenza artificiale. Allo stesso tempo, i rilevatori di intelligenza artificiale commerciali possono produrre falsi positivi, quindi qualsiasi futuro sistema di applicazione delle norme dovrà distinguere le accuse non supportate dagli errori di citazione verificabili.
Guarda come OpenAI e Google rispondono al ciclo di feedback segnalato. OpenAI ha detto al Guardian che la riduzione delle allucinazioni rimane un'area di ricerca in corso e ha consigliato agli utenti di trattare ChatGPT come una prima bozza piuttosto che come una fonte finale, verificando citazioni, dati e riferimenti esterni. Google ha affermato che le sue panoramiche sull'intelligenza artificiale mirano ad abbinare i contenuti web ai termini di query, in modo simile alla ricerca tradizionale. Tali risposte non risolvono se i riepiloghi dell’intelligenza artificiale debbano emergere o riprodurre affermazioni da documenti contenenti riferimenti inventati, lasciando incerta l’efficacia delle garanzie esistenti.