Il prossimoAvanti in Politica e società sull'intelligenza artificiale
Sicurezza dell'intelligenza artificiale
Società
GUIDA della Società
La sicurezza dell'intelligenza artificiale protegge modelli, dati, strumenti e servizi circostanti da accessi o manipolazioni non autorizzati.
Ascolta questa guidaNarrato dall'IA · ~2 min
Include la normale sicurezza del software e le minacce che prendono di mira l'apprendimento o modellano il comportamento. Una progettazione sicura inizia con le risorse, gli avversari e i confini di fiducia dell'applicazione effettiva.
Identifica ciò che necessita di protezione: input privati, dati di training, artefatti del modello, credenziali, account connessi e azioni esterne. Registra chi può influenzare ciascun input e cosa potrebbe guadagnare un utente malintenzionato da un fallimento. Un chatbot pubblico e un agente interno con accesso in scrittura hanno modelli di minaccia diversi. Le minacce possono influenzare diverse fasi. Il materiale didattico avvelenato può alterare il comportamento appreso; gli input contraddittori possono manipolare le previsioni; il contenuto recuperato non attendibile può reindirizzare un'applicazione che utilizza lo strumento. L'output del modello può anche diventare pericoloso se inserito in una query di database, in una pagina Web o in un comando senza una gestione adeguata. Applicare controlli al confine del software. Applica l'autorizzazione nel codice, mantieni i segreti fuori dal contesto visibile del modello, ove possibile, limita l'ambito dello strumento e convalida gli output prima dell'uso. Una richiesta che chiede a un modello di comportarsi in modo sicuro non può sostituire l'isolamento dell'account o i controlli delle autorizzazioni. Testare percorsi di errore rappresentativi in un ambiente autorizzato e mantenere un processo di incidente. Registra informazioni sufficienti per indagare senza raccogliere contenuti sensibili non necessari. Valutare i controlli dopo le modifiche al modello, alle origini di recupero, agli strumenti e alle dipendenze. Descrivere onestamente il rischio residuo; nessun singolo filtro stabilisce una protezione completa.
04Esempio lavorato
Immagina un assistente che cerca un utente registrato in un archivio di documenti privato.
Applicare il filtro di accesso dell'utente nel servizio di recupero prima che i documenti entrino nel contesto del modello.
Prova con un documento appartenente a un account diverso e verifica che nel risultato non compaiano né il suo contenuto né i metadati identificativi.
Cosa mostra
Questo test ipotetico e difensivo verifica l’autorizzazione indipendentemente dalla volontà del modello di seguire le istruzioni.
Verifica che un account non possa recuperare i documenti di un altro account.
Convalidare i campi generati prima di utilizzarli in un'operazione di database.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
No. L'autenticazione, l'autorizzazione, la gestione degli input e degli output, i limiti degli strumenti e la risposta agli incidenti rimangono parti necessarie dell'applicazione.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoAvanti in Politica e società sull'intelligenza artificiale
Sicurezza dell'intelligenza artificiale
Società