Cosa è successo
Un gruppo di senatori democratici senior, tra cui Mark Warner, Jack Reed e Chris Coons, ha inviato venerdì una lettera formale esortando i controllori del governo a indagare sugli errori significativi nei piani di targeting militare statunitense causati dall’intelligenza artificiale. La lettera cita un rapporto della CNN che descrive in dettaglio un incidente in cui un analista si è affidato all’intelligenza artificiale per generare un rapporto di intelligence che identificava falsamente una nave mercantile cinese come trasportatrice di componenti di armi nucleari. Questo errore ha portato le forze armate statunitensi a prepararsi per un’operazione di intercettazione che è stata annullata solo dopo che i funzionari si sono resi conto che il rapporto generato dall’intelligenza artificiale era completamente falso. I senatori hanno anche fatto riferimento a un attacco mortale di febbraio in Iran che ha ucciso quasi 200 persone, che fonti hanno riferito alla CNN è avvenuto dopo che i comandanti hanno aggirato gli avvertimenti del database basato sull’intelligenza artificiale sull’intelligence obsoleta. La lettera richiede un’indagine immediata da parte degli ispettori generali con trasparenza pubblica, sostenendo che la priorità data all’adozione dell’intelligenza artificiale rispetto alla governance ha creato seri rischi operativi.
Un gruppo di importanti senatori democratici, tra cui Mark Warner, Jack Reed e Chris Coons, ha inviato venerdì una lettera al segretario alla Difesa Pete Hegseth e al direttore dell'intelligence nazionale Jay Clayton. La lettera chiede un’indagine immediata da parte degli ispettori generali competenti su una serie di errori nei piani di mira militari statunitensi causati dall’intelligenza artificiale. I senatori hanno espresso crescente preoccupazione per il fatto che le agenzie sotto la loro supervisione abbiano dato priorità all’accelerazione dell’adozione e della sperimentazione delle capacità di intelligenza artificiale rispetto a una governance efficace.
La lettera cita specificamente la notizia della CNN su una chiamata ravvicinata che ha coinvolto una nave cinese in Medio Oriente. Secondo fonti vicine all’incidente, un analista del comando delle operazioni speciali si è affidato all’intelligenza artificiale per generare un rapporto di intelligence che identificava in modo impreciso il materiale su una nave mercantile cinese. Il rapporto ha portato le forze armate statunitensi a credere che la nave stesse trasportando componenti di un programma di armi nucleari. I militari iniziarono a facilitare i piani per intercettare la nave prima che i funzionari si rendessero conto, poco prima dell’operazione pianificata, che il rapporto era stato generato con l’aiuto dell’intelligenza artificiale ed era completamente falso. Una fonte ha descritto questo come un’“allucinazione” che non è stata un incidente isolato nella comunità dell’intelligence da quando l’uso dell’intelligenza artificiale ha iniziato a proliferare nel governo.
I senatori hanno anche fatto riferimento al mortale attacco americano di febbraio contro una scuola a Minab, in Iran, che ha ucciso quasi 200 bambini e adulti. Tre fonti hanno detto alla CNN all’inizio di quest’anno che l’attacco è avvenuto dopo che alti comandanti militari statunitensi hanno aggirato gli avvertimenti nei database critici, incluso uno alimentato dall’intelligenza artificiale, secondo cui l’intelligence sui potenziali obiettivi in Iran era gravemente obsoleta. La lettera sostiene che le segnalazioni pubbliche di piattaforme mirate all’intelligenza artificiale che generano risultati spuri rischiano gravi errori operativi e minano la fiducia nell’intelligence e nell’azione cinetica degli Stati Uniti.
La lettera richiede che Hegseth e Clayton indaghino tempestivamente sulla questione e forniscano agli ispettori generali accesso illimitato a entrambi i casi quest'anno in cui i resoconti dei media hanno suggerito errori significativi nei flussi di lavoro di targeting abilitati all'intelligenza artificiale, nonché a qualsiasi ulteriore caso non ancora segnalato pubblicamente. I senatori sottolineano la necessità di un maggiore grado di trasparenza pubblica nei risultati finali, dato l’impatto che questi fallimenti percepiti hanno sulla fiducia del pubblico nell’intelligence e nelle missioni di guerra.
Dettagli della fonte: edition.cnn.com ↗
Perché è importante
Questo sviluppo evidenzia i pericoli tangibili derivanti dall’integrazione dell’intelligenza artificiale nei flussi di lavoro militari e di intelligence ad alto rischio senza una solida governance. L’incidente descritto dalla CNN, in cui un’allucinazione dell’intelligenza artificiale ha quasi dato inizio a una guerra, sottolinea la necessità fondamentale di supervisione e verifica da parte dell’uomo nei sistemi automatizzati. La richiesta dei senatori di un’indagine dell’ispettore generale segnala un crescente consenso politico sul fatto che l’attuale ritmo di adozione dell’intelligenza artificiale nel settore della difesa potrebbe superare lo sviluppo dei necessari controlli di sicurezza. Ciò potrebbe portare a nuovi quadri normativi o cambiamenti di politica interna all’interno del Dipartimento della Difesa per garantire l’affidabilità dell’IA nelle operazioni cinetiche.
L’incidente che ha coinvolto la nave mercantile cinese illustra i gravi rischi derivanti dall’affidarsi all’intelligenza artificiale per valutazioni critiche di intelligence senza un’adeguata verifica umana. Il fatto che l’errore sia stato colto solo poco prima di un’operazione militare pianificata evidenzia il potenziale di conseguenze diplomatiche e militari catastrofiche se le allucinazioni dell’IA non vengono gestite adeguatamente. Questo evento funge da esempio concreto del motivo per cui la governance e i controlli di sicurezza sono essenziali nelle applicazioni di intelligenza artificiale ad alto rischio.
Il riferimento all’attacco mortale in Iran sottolinea ulteriormente il costo umano dei fallimenti dell’intelligence legati all’intelligenza artificiale. L’elusione degli avvisi basati sull’intelligenza artificiale sui dati obsoleti suggerisce che i sistemi attuali potrebbero non essere efficacemente integrati nei processi decisionali o che gli operatori umani potrebbero ignorare i controlli di sicurezza critici. Ciò solleva seri interrogativi sull’affidabilità dei flussi di lavoro di targeting abilitati all’intelligenza artificiale e sulla necessità di meccanismi di supervisione più robusti.
La richiesta dei senatori per un'indagine dell'ispettore generale segnala un cambiamento nelle dinamiche politiche riguardanti l'intelligenza artificiale nelle forze armate. Sebbene il dibattito sulla regolamentazione dell’intelligenza artificiale abbia dominato il Congresso, con i democratici che chiedono controlli più severi e i repubblicani che mettono in guardia dal rallentare lo sviluppo, questo incidente fornisce un argomento convincente a sostegno della necessità di una governance efficace. L’esito dell’indagine potrebbe influenzare le future decisioni politiche e potenzialmente portare a nuove normative o protocolli interni per garantire l’affidabilità dell’IA nelle operazioni militari.
Meccanismo interattivo: come funziona realmente
Esplora la tecnologia alla base di questo sviluppo in modo interattivo.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Cosa guardare dopo
Aspettatevi la risposta del segretario alla Difesa Pete Hegseth e del direttore dell'intelligence nazionale Jay Clayton alla lettera dei senatori. Inoltre, monitorare se gli ispettori generali avviano un’indagine formale sugli incidenti specifici citati, tra cui l’intercettazione della nave cinese e l’attacco all’Iran. L’esito di questa indagine potrebbe influenzare i dibattiti congressuali più ampi sulla regolamentazione dell’IA in ambito militare e potrebbe avere un impatto sui negoziati in corso tra il Pentagono e società di intelligenza artificiale come Anthropic riguardo all’uso dei loro modelli nelle armi autonome.
La risposta del segretario alla Difesa Pete Hegseth e del direttore dell'intelligence nazionale Jay Clayton alla lettera dei senatori sarà un indicatore chiave della posizione dell'amministrazione sulla governance dell'intelligenza artificiale in ambito militare. La loro reazione potrebbe rivelare se sono disposti a collaborare con un’indagine dell’ispettore generale o se difenderanno l’attuale approccio all’adozione dell’IA.
L'avvio di un'indagine formale da parte degli ispettori generali sugli incidenti specifici citati nella lettera costituirà uno sviluppo significativo. La portata e i risultati di questa indagine potrebbero fornire preziose informazioni sulla portata degli errori legati all’intelligenza artificiale nei flussi di lavoro dei bersagli militari e sull’efficacia delle attuali misure di governance.
Il dibattito in corso al Congresso sulla regolamentazione dell’IA potrebbe essere influenzato dall’esito di questa indagine. Se l’indagine rivelasse carenze significative nella governance dell’IA, potrebbe rafforzare la necessità di normative più severe e meccanismi di supervisione più robusti. Al contrario, se l’indagine rilevasse che gli incidenti sono stati isolati e che i controlli attuali sono efficaci, ciò potrebbe rafforzare la tesi a favore di una continua e rapida adozione dell’IA.
Anche il rapporto tra il Pentagono e società di intelligenza artificiale come Anthropic potrebbe essere influenzato da questo incidente. Il Dipartimento della Difesa ha già litigato con Anthropic per il rifiuto dell'azienda di rimuovere i guardrail di sicurezza interni che impedirebbero ai militari di utilizzare il suo modello di intelligenza artificiale Claude in armi autonome e sorveglianza di massa. L’esito dell’indagine potrebbe influenzare i futuri negoziati e partenariati tra l’esercito e gli sviluppatori di intelligenza artificiale.