AI-beveiliging

Identificeer wat bescherming nodig heeft: privé-invoer, trainingsgegevens, modelartefacten, inloggegevens, verbonden accounts en externe acties. Leg vast wie elke invoer kan beïnvloeden en wat een aanvaller kan winnen bij een storing. Een openbare chatbot en een interne agent met schrijftoegang hebben verschillende dreigingsmodellen. Bedreigingen kunnen verschillende stadia beïnvloeden. Vergiftigd trainingsmateriaal kan aangeleerd gedrag veranderen; vijandige input kan voorspellingen manipuleren; Niet-vertrouwde opgehaalde inhoud kan een tool-gebruikende applicatie omleiden. Modeluitvoer kan ook gevaarlijk worden als het zonder de juiste afhandeling in een databasequery, webpagina of opdracht wordt ingevoegd. Pas controles toe op de softwaregrens. Dwing autorisatie af in code, houd geheimen waar mogelijk buiten de voor het model zichtbare context, beperk de reikwijdte van de tool en valideer de uitvoer vóór gebruik. Een prompt om een ​​model te vragen zich veilig te gedragen kan de accountisolatie of toestemmingscontroles niet vervangen. Test representatieve storingspaden in een geautoriseerde omgeving en onderhoud een incidentproces. Registreer voldoende informatie om onderzoek te doen zonder onnodige gevoelige inhoud te verzamelen. Evalueer controles na wijzigingen in het model, het ophalen van bronnen, tools en afhankelijkheden. Beschrijf het restrisico eerlijk; geen enkel filter biedt volledige bescherming.