ΕπόμενοΕπόμενο στο AI Policy & Society
AI Ασφάλεια
Κοινωνία
ΟΔΗΓΟΣ Κοινωνίας
Ασφάλεια AI
Η ασφάλεια της τεχνητής νοημοσύνης προστατεύει μοντέλα, δεδομένα, εργαλεία και υπηρεσίες περιβάλλοντος από μη εξουσιοδοτημένη πρόσβαση ή χειραγώγηση.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Περιλαμβάνει συνηθισμένη ασφάλεια λογισμικού και απειλές που στοχεύουν στη μάθηση ή στη συμπεριφορά μοντέλου. Ένας ασφαλής σχεδιασμός ξεκινά με τα περιουσιακά στοιχεία, τους αντιπάλους και τα όρια εμπιστοσύνης της πραγματικής εφαρμογής.
Βασικά takeaways
- Απειλή-μοντελοποίηση της πλήρους εφαρμογής.
- Επιβολή αδειών εκτός του μοντέλου.
- Ελέγξτε ξανά τα στοιχεία ελέγχου σε όλες τις αλλαγές συστήματος.
Βαθιά κατάδυση
Προσδιορίστε τι χρειάζεται προστασία: ιδιωτικές εισροές, δεδομένα εκπαίδευσης, τεχνουργήματα μοντέλων, διαπιστευτήρια, συνδεδεμένοι λογαριασμοί και εξωτερικές ενέργειες. Καταγράψτε ποιος μπορεί να επηρεάσει κάθε είσοδο και τι θα μπορούσε να κερδίσει ένας εισβολέας από μια αποτυχία. Ένα δημόσιο chatbot και ένας εσωτερικός πράκτορας με πρόσβαση εγγραφής έχουν διαφορετικά μοντέλα απειλών. Οι απειλές μπορούν να επηρεάσουν διαφορετικά στάδια. Το δηλητηριασμένο εκπαιδευτικό υλικό μπορεί να αλλάξει τη μαθημένη συμπεριφορά. οι αντίθετες εισροές μπορούν να χειραγωγήσουν τις προβλέψεις. Το μη αξιόπιστο ανακτημένο περιεχόμενο μπορεί να ανακατευθύνει μια εφαρμογή που χρησιμοποιεί εργαλείο. Η έξοδος μοντέλου μπορεί επίσης να γίνει επικίνδυνη όταν εισάγεται σε ένα ερώτημα βάσης δεδομένων, μια ιστοσελίδα ή μια εντολή χωρίς κατάλληλο χειρισμό. Εφαρμόστε στοιχεία ελέγχου στο όριο λογισμικού. Επιβάλλετε την εξουσιοδότηση στον κώδικα, κρατήστε μυστικά εκτός του πλαισίου που είναι ορατό στο μοντέλο, όπου είναι δυνατόν, περιορίστε το εύρος του εργαλείου και επικυρώστε τα αποτελέσματα πριν από τη χρήση. Μια προτροπή που ζητά από ένα μοντέλο να συμπεριφέρεται με ασφάλεια δεν μπορεί να αντικαταστήσει τους ελέγχους απομόνωσης λογαριασμού ή αδειών. Ελέγξτε αντιπροσωπευτικές διαδρομές αποτυχίας σε εξουσιοδοτημένο περιβάλλον και διατηρήστε μια διαδικασία συμβάντος. Καταγράψτε αρκετές πληροφορίες για διερεύνηση χωρίς να συλλέξετε περιττό ευαίσθητο περιεχόμενο. Αξιολογήστε τα στοιχεία ελέγχου μετά από αλλαγές στο μοντέλο, τις πηγές ανάκτησης, τα εργαλεία και τις εξαρτήσεις. Περιγράψτε με ειλικρίνεια τον υπολειπόμενο κίνδυνο. κανένα φίλτρο δεν δημιουργεί πλήρη προστασία.
04Δουλευμένο παράδειγμα
Εντοπίστε το όριο ασφαλείας
Φανταστείτε έναν βοηθό να αναζητά έναν συνδεδεμένο χρήστη σε ένα ιδιωτικό κατάστημα εγγράφων.
Εφαρμόστε το φίλτρο πρόσβασης του χρήστη στην υπηρεσία ανάκτησης προτού εισέλθουν έγγραφα στο περιβάλλον του μοντέλου.
Δοκιμάστε με ένα έγγραφο που ανήκει σε διαφορετικό λογαριασμό και επαληθεύστε ότι ούτε το περιεχόμενό του ούτε τα μεταδεδομένα ταυτοποίησης εμφανίζονται στο αποτέλεσμα.
Αυτό που δείχνει
Αυτή η αμυντική, υποθετική δοκιμή ελέγχει την εξουσιοδότηση ανεξάρτητα από την προθυμία του μοντέλου να ακολουθήσει τις οδηγίες.
Υλοποίηση σε πραγματικό κόσμο
Ελέγξτε ότι ένας λογαριασμός δεν μπορεί να ανακτήσει τα έγγραφα ενός άλλου λογαριασμού.
Επικυρώστε τα πεδία που δημιουργούνται πριν τα χρησιμοποιήσετε σε μια λειτουργία βάσης δεδομένων.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κίνδυνος και ασφάλεια. Οι καταστροφικές και οι καθημερινές βλάβες της τεχνητής νοημοσύνης εξαρτώνται από το ποιος κατανοεί τους κινδύνους και ποιος μπορεί να δράσει.
- Σαφέστερες αποφάσεις. Ο δημόσιος και επαγγελματικός γραμματισμός διαμορφώνει εάν είναι πολιτικά δυνατή η ισχυρή πολιτική ασφάλειας.
- Κόβοντας τη διαφημιστική εκστρατεία. Οι σαφείς εξηγήσεις μειώνουν τη λήψη από διαφημιστική εκστρατεία, εργαστηριακές σχέσεις δημοσίων σχέσεων και αόριστες θεατρικές ηθικές.
Προσέξτε
- Αντιμετώπιση του υπαρξιακού κινδύνου ως ενώσεις επιστημονικής φαντασίας και ικανότητας.
- Συγχέοντας την ασφάλεια του προϊόντος της επιφάνειας με την ευθυγράμμιση υπό υψηλή αυτονομία.
- Αφήνοντας μη αγγλικά και μη εξειδικευμένα είδη κοινού με πηγές μόνο χαμηλής ποιότητας.
Επόμενα βήματα
- Ξεχωρίστε τους κινδύνους βλαβών, κακής χρήσης και απώλειας ελέγχου / κακής ευθυγράμμισης του προϊόντος.
- Ρωτήστε ποια στοιχεία θα άλλαζαν την άποψή σας για τα χρονοδιαγράμματα και τη σοβαρότητα.
- Προτιμήστε τις πρωτογενείς πηγές και τις συγκεκριμένες αξιολογήσεις έναντι των ισχυρισμών μάρκετινγκ.
- Προσδιορίστε ένα μονοπάτι δράσης: καριέρα, πολιτική, χρηματοδότηση ή δεξιότητες — όχι μόνο ευαισθητοποίηση.
Πηγές και περαιτέρω ανάγνωση
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the AI Security quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Είναι ένα ισχυρό σύστημα αρκετά γρήγορο για να εξασφαλίσει έναν βοηθό;
Όχι. Ο έλεγχος ταυτότητας, η εξουσιοδότηση, ο χειρισμός εισόδου και εξόδου, τα όρια εργαλείων και η απόκριση περιστατικού παραμένουν απαραίτητα μέρη της εφαρμογής.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα