GUIDA della Società

Sicurezza dell'intelligenza artificiale

La sicurezza dell'intelligenza artificiale protegge modelli, dati, strumenti e servizi circostanti da accessi o manipolazioni non autorizzati.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Punti chiave
  3. Immersione profonda
  4. Individuare il confine di sicurezza
  5. Implementazione nel mondo reale
  6. Metterlo in pratica
  7. Fonti e approfondimenti
  8. Continua a esplorare
  9. Domande frequenti

Panoramica

Include la normale sicurezza del software e le minacce che prendono di mira l'apprendimento o modellano il comportamento. Una progettazione sicura inizia con le risorse, gli avversari e i confini di fiducia dell'applicazione effettiva.

Punti chiave

  1. Modellare la minaccia per l'intera applicazione.
  2. Applicare le autorizzazioni all'esterno del modello.
  3. Testare nuovamente i controlli in caso di modifiche al sistema.

Immersione profonda

Identifica ciò che necessita di protezione: input privati, dati di training, artefatti del modello, credenziali, account connessi e azioni esterne. Registra chi può influenzare ciascun input e cosa potrebbe guadagnare un utente malintenzionato da un fallimento. Un chatbot pubblico e un agente interno con accesso in scrittura hanno modelli di minaccia diversi. Le minacce possono influenzare diverse fasi. Il materiale didattico avvelenato può alterare il comportamento appreso; gli input contraddittori possono manipolare le previsioni; il contenuto recuperato non attendibile può reindirizzare un'applicazione che utilizza lo strumento. L'output del modello può anche diventare pericoloso se inserito in una query di database, in una pagina Web o in un comando senza una gestione adeguata. Applicare controlli al confine del software. Applica l'autorizzazione nel codice, mantieni i segreti fuori dal contesto visibile del modello, ove possibile, limita l'ambito dello strumento e convalida gli output prima dell'uso. Una richiesta che chiede a un modello di comportarsi in modo sicuro non può sostituire l'isolamento dell'account o i controlli delle autorizzazioni. Testare percorsi di errore rappresentativi in ​​un ambiente autorizzato e mantenere un processo di incidente. Registra informazioni sufficienti per indagare senza raccogliere contenuti sensibili non necessari. Valutare i controlli dopo le modifiche al modello, alle origini di recupero, agli strumenti e alle dipendenze. Descrivere onestamente il rischio residuo; nessun singolo filtro stabilisce una protezione completa.

04Esempio lavorato

Individuare il confine di sicurezza

  1. Immagina un assistente che cerca un utente registrato in un archivio di documenti privato.

  2. Applicare il filtro di accesso dell'utente nel servizio di recupero prima che i documenti entrino nel contesto del modello.

  3. Prova con un documento appartenente a un account diverso e verifica che nel risultato non compaiano né il suo contenuto né i metadati identificativi.

Cosa mostra

Questo test ipotetico e difensivo verifica l’autorizzazione indipendentemente dalla volontà del modello di seguire le istruzioni.

Implementazione nel mondo reale

Verifica che un account non possa recuperare i documenti di un altro account.

Convalidare i campi generati prima di utilizzarli in un'operazione di database.

Metterlo in pratica

Perché è importante

  • Rischio e sicurezza. I danni catastrofici e quotidiani dell’IA dipendono entrambi da chi comprende i rischi e da chi può agire.
  • Decisioni più chiare. L’alfabetizzazione pubblica e professionale determina la possibilità politica di una forte politica di sicurezza.
  • Tagliare il clamore. Spiegazioni chiare riducono la cattura da parte di montature pubblicitarie, PR di laboratorio e vaghi teatrini etici.

Attenzione

  • Trattare il rischio esistenziale come fantascienza mentre le capacità si aggravano.
  • Confondere la sicurezza del prodotto superficiale con l'allineamento in condizioni di elevata autonomia.
  • Lasciando il pubblico non inglese e non esperto solo con fonti di bassa qualità.

Prossimi passi

  1. Separare i rischi di danni al prodotto, uso improprio e perdita di controllo/disallineamento.
  2. Chiedi quali prove cambierebbero la tua opinione sulle tempistiche e sulla gravità.
  3. Preferire fonti primarie e valutazioni concrete alle affermazioni di marketing.
  4. Identifica un percorso d’azione: carriera, politica, finanziamenti o competenze, non solo consapevolezza.

Fonti e approfondimenti

  1. NISTTassonomia contraddittoria del machine learning

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the AI Security quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Un sistema forte è abbastanza tempestivo da garantire un assistente?

No. L'autenticazione, l'autorizzazione, la gestione degli input e degli output, i limiti degli strumenti e la risposta agli incidenti rimangono parti necessarie dell'applicazione.