SelanjutnyaSelanjutnya dalam Kebijakan & Masyarakat AI
Keamanan AI
Masyarakat
PANDUAN Masyarakat
Keamanan AI
Keamanan AI melindungi model, data, alat, dan layanan di sekitarnya dari akses atau manipulasi yang tidak sah.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Ini mencakup keamanan perangkat lunak biasa dan ancaman yang menargetkan pembelajaran atau perilaku model. Desain yang aman dimulai dengan aset, musuh, dan batasan kepercayaan dari aplikasi sebenarnya.
Poin-poin utama
- Model ancaman aplikasi lengkap.
- Terapkan izin di luar model.
- Uji ulang kontrol di seluruh perubahan sistem.
Menyelam Lebih Dalam
Identifikasi apa yang memerlukan perlindungan: masukan pribadi, data pelatihan, artefak model, kredensial, akun terhubung, dan tindakan eksternal. Catat siapa yang dapat memengaruhi setiap masukan dan apa yang dapat diperoleh penyerang dari suatu kegagalan. Chatbot publik dan agen internal dengan akses tulis memiliki model ancaman yang berbeda. Ancaman dapat mempengaruhi tahapan yang berbeda. Materi pelatihan yang beracun dapat mengubah perilaku yang dipelajari; masukan yang berlawanan dapat memanipulasi prediksi; konten yang diambil tidak tepercaya dapat mengalihkan aplikasi yang menggunakan alat. Output model juga bisa menjadi berbahaya ketika dimasukkan ke dalam kueri database, halaman web, atau perintah tanpa penanganan yang tepat. Terapkan kontrol pada batas perangkat lunak. Terapkan otorisasi dalam kode, jaga rahasia di luar konteks yang terlihat oleh model jika memungkinkan, batasi cakupan alat, dan validasi keluaran sebelum digunakan. Perintah yang meminta model untuk berperilaku aman tidak dapat menggantikan isolasi akun atau pemeriksaan izin. Uji jalur kegagalan yang representatif di lingkungan resmi dan pertahankan proses insiden. Catat informasi yang cukup untuk diselidiki tanpa mengumpulkan konten sensitif yang tidak perlu. Evaluasi kontrol setelah perubahan pada model, sumber pengambilan, alat, dan dependensi. Menjelaskan sisa risiko dengan jujur; tidak ada filter tunggal yang memberikan perlindungan lengkap.
04Contoh yang berhasil
Temukan batas keamanan
Bayangkan seorang asisten mencari pengguna yang masuk ke penyimpanan dokumen pribadi.
Terapkan filter akses pengguna di layanan pengambilan sebelum dokumen memasuki konteks model.
Uji dengan dokumen milik akun lain dan verifikasi bahwa konten atau metadata pengidentifikasinya tidak muncul dalam hasil.
Apa yang ditunjukkannya
Uji defensif dan hipotetis ini memeriksa otorisasi secara independen dari kesediaan model untuk mengikuti instruksi.
Implementasi Dunia Nyata
Pastikan satu akun tidak dapat mengambil dokumen akun lain.
Validasi bidang yang dihasilkan sebelum menggunakannya dalam operasi database.
Mempraktikkannya
Mengapa itu penting
- Risiko dan keselamatan. Kerugian akibat AI yang bersifat bencana dan sehari-hari bergantung pada siapa yang memahami risikonya dan siapa yang dapat bertindak.
- Keputusan yang lebih jelas. Literasi masyarakat dan profesional menentukan apakah kebijakan keselamatan yang kuat memungkinkan secara politis.
- Menembus hype. Penjelasan yang jelas mengurangi penangkapan oleh hype, PR laboratorium, dan teater etika yang tidak jelas.
Hati-hati
- Memperlakukan risiko eksistensial sebagai fiksi ilmiah sementara kemampuan bertambah.
- Membingungkan keamanan produk permukaan dengan penyelarasan dalam otonomi tinggi.
- Membiarkan audiens non-Inggris dan non-ahli hanya memiliki sumber berkualitas rendah.
Langkah selanjutnya
- Pisahkan risiko bahaya, penyalahgunaan, dan hilangnya kendali/ketidakselarasan produk.
- Tanyakan bukti apa yang akan mengubah pandangan Anda mengenai jangka waktu dan tingkat keparahannya.
- Lebih memilih sumber primer dan evaluasi konkrit dibandingkan klaim pemasaran.
- Identifikasi satu jalur tindakan: karier, kebijakan, pendanaan, atau keterampilan – bukan hanya kesadaran.
Sumber dan bacaan lebih lanjut
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the AI Security quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apakah sistem yang kuat cukup cepat untuk mengamankan asisten?
Tidak. Otentikasi, otorisasi, penanganan input dan output, batasan alat, dan respons insiden tetap menjadi bagian penting dari aplikasi.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini