VolgendeVolgende in AI-beleid en samenleving
AI-veiligheid
Samenleving
Gids voor de samenleving
AI-beveiliging beschermt modellen, gegevens, tools en omliggende services tegen ongeoorloofde toegang of manipulatie.
Luister naar deze gidsAI-verteld · ~2 min
Het omvat gewone softwarebeveiliging en bedreigingen die zich richten op leer- of modelgedrag. Een veilig ontwerp begint met de middelen, tegenstanders en vertrouwensgrenzen van de daadwerkelijke toepassing.
Identificeer wat bescherming nodig heeft: privé-invoer, trainingsgegevens, modelartefacten, inloggegevens, verbonden accounts en externe acties. Leg vast wie elke invoer kan beïnvloeden en wat een aanvaller kan winnen bij een storing. Een openbare chatbot en een interne agent met schrijftoegang hebben verschillende dreigingsmodellen. Bedreigingen kunnen verschillende stadia beïnvloeden. Vergiftigd trainingsmateriaal kan aangeleerd gedrag veranderen; vijandige input kan voorspellingen manipuleren; Niet-vertrouwde opgehaalde inhoud kan een tool-gebruikende applicatie omleiden. Modeluitvoer kan ook gevaarlijk worden als het zonder de juiste afhandeling in een databasequery, webpagina of opdracht wordt ingevoegd. Pas controles toe op de softwaregrens. Dwing autorisatie af in code, houd geheimen waar mogelijk buiten de voor het model zichtbare context, beperk de reikwijdte van de tool en valideer de uitvoer vóór gebruik. Een prompt om een model te vragen zich veilig te gedragen kan de accountisolatie of toestemmingscontroles niet vervangen. Test representatieve storingspaden in een geautoriseerde omgeving en onderhoud een incidentproces. Registreer voldoende informatie om onderzoek te doen zonder onnodige gevoelige inhoud te verzamelen. Evalueer controles na wijzigingen in het model, het ophalen van bronnen, tools en afhankelijkheden. Beschrijf het restrisico eerlijk; geen enkel filter biedt volledige bescherming.
04Uitgewerkt voorbeeld
Stel je voor dat een assistent in een privédocumentarchief zoekt naar een aangemelde gebruiker.
Pas het toegangsfilter van de gebruiker toe in de ophaalservice voordat documenten de modelcontext binnenkomen.
Test met een document dat bij een ander account hoort en verifieer dat noch de inhoud, noch identificerende metagegevens in het resultaat voorkomen.
Wat het laat zien
Deze defensieve, hypothetische test controleert de autorisatie, onafhankelijk van de bereidheid van het model om instructies op te volgen.
Controleer of het ene account de documenten van een ander account niet kan ophalen.
Valideer gegenereerde velden voordat u ze in een databasebewerking gebruikt.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Nee. Authenticatie, autorisatie, invoer- en uitvoerafhandeling, toollimieten en incidentrespons blijven noodzakelijke onderdelen van de applicatie.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende in AI-beleid en samenleving
AI-veiligheid
Samenleving