PANDUAN Teknis
Keamanan Cepat AI
Prompt alamat keamanan berusaha membuat aplikasi model bahasa memperlakukan konten yang tidak terpercaya sebagai instruksi atau mengungkapkan informasi yang harus dilindungi.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Masalah ini dapat muncul dalam input pengguna, dokumen yang diambil, halaman web, gambar, atau respons alat. Pembelaan harus membatasi konsekuensi serta mendeteksi teks mencurigakan.
Poin-poin utama
- Membedakan instruksi dari konten yang sudah diproses.
- Batasi izin secara independen dari model.
- Uji batas kepercayaan di seluruh saluran input.
Menyelam Lebih Dalam
Pisahkan tugas yang diotorisasi pengguna dari konten yang sedang diproses. Sebuah dokumen dapat secara sah memuat instruksi sebagai bagian dari materi subjeknya. Kata-kata tersebut tidak boleh secara otomatis mengontrol alat, akses akun, atau kebijakan respons asisten. Jaga hak istimewa tetap sempit. Tugas ringkasan umumnya tidak memerlukan akses file tanpa batas atau izin untuk mengirim pesan. Tegakkan batasan tersebut dalam aplikasi agar kesalahan model tidak dapat secara diam-diam menciptakan kemampuan yang lebih luas. Validasi output dan tindakan konsekuensial terhadap permintaan asli. Periksa tujuan, catatan yang terpengaruh, data yang dikirim, dan persetujuan yang diperlukan. Halaman eksternal yang mengklaim bahwa pengguna menyetujui sesuatu tidak setara dengan instruksi pengguna yang sebenarnya. Buat kasus regresi yang mengubah lokasi dan format instruksi yang tidak dipercaya. Uji input langsung, bagian yang diambil, dan hasil alat dalam lingkungan yang terkontrol. Tinjau apakah aplikasi mempertahankan kinerja tugas yang berguna sambil menahan pengalihan ulang. Hindari klaim filter injeksi prompt yang tidak bisa gagal; kontrol berlapis dan pengujian berkelanjutan lebih kredibel.
04Contoh yang berhasil
Simpan instruksi yang diambil di dalam dokumen
Buat halaman uji yang berisi paragraf kebijakan normal dan kalimat yang memberi instruksi kepada asisten untuk mengunggah file yang tidak terkait.
Minta hanya ringkasan kebijakan. Pastikan ringkasan menggunakan fakta relevan dan tidak ada alat unggah yang dipanggil.
Ulangi dengan instruksi dalam blok yang dikutip dan hasil alat untuk menguji batas kepercayaan yang sama di berbagai format.
Apa yang ditunjukkannya
Latihan defensif terbatas ini memverifikasi kepatuhan tugas tanpa menggunakan file pribadi yang nyata.
Implementasi Dunia Nyata
Merangkum dokumen yang berisi bagian seperti instruksi tanpa menjalankannya.
Centang aksi alat keluar terhadap tujuan dan tujuan asli pengguna.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Sumber dan bacaan lebih lanjut
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the AI Prompt Security quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apakah prompt injection bisa diatasi dengan membanned satu frasa?
Tidak. Masalah mendasarnya adalah apakah konten yang tidak dipercaya dapat mengalihkan perilaku. Serangan dapat menggunakan banyak frasa dan format.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini