PANDUAN Teknikal
Keselamatan Prompt AI
Alamat keselamatan segera cuba untuk menjadikan aplikasi model bahasa menganggap kandungan yang tidak dipercayai sebagai arahan atau mendedahkan maklumat yang harus dilindunginya.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Masalah boleh timbul dalam input pengguna, dokumen yang diambil, halaman web, imej atau respons alat. Pertahanan mesti mengehadkan akibat serta mengesan teks yang mencurigakan.
Pengambilan utama
- Bezakan arahan daripada kandungan yang diproses.
- Hadkan kebenaran secara bebas daripada model.
- Uji sempadan kepercayaan merentas saluran input.
Menyelam dalam
Asingkan tugas yang dibenarkan pengguna daripada kandungan yang sedang diproses. Sesuatu dokumen boleh mengandungi arahan secara sah sebagai sebahagian daripada subjeknya. Perkataan tersebut tidak seharusnya mengawal alatan pembantu, akses akaun atau dasar respons secara automatik. Pastikan keistimewaan sempit. Tugas rumusan secara amnya tidak memerlukan akses fail tanpa had atau kebenaran untuk menghantar mesej. Kuatkuasakan had tersebut dalam aplikasi supaya ralat model tidak dapat mencipta keupayaan yang lebih luas secara senyap. Mengesahkan output berbangkit dan tindakan terhadap permintaan asal. Semak destinasi, rekod yang terjejas, data yang dihantar, dan kelulusan yang diperlukan. Halaman luaran yang mendakwa bahawa pengguna meluluskan sesuatu tidak bersamaan dengan arahan pengguna sebenar. Bina kes regresi yang mengubah lokasi dan format arahan yang tidak dipercayai. Uji input langsung, petikan yang diambil dan hasil alatan dalam persekitaran terkawal. Semak sama ada aplikasi mengekalkan prestasi tugasan yang berguna sambil menentang pengalihan semula. Elakkan tuntutan penapis suntikan segera yang mudah sekali; kawalan berlapis dan ujian berterusan adalah lebih boleh dipercayai.
04Contoh yang dikerjakan
Simpan arahan yang diambil di dalam dokumen
Bina halaman ujian yang mengandungi perenggan dasar biasa dan ayat yang memberitahu pembantu untuk memuat naik fail yang tidak berkaitan.
Minta hanya ringkasan dasar. Sahkan bahawa ringkasan menggunakan fakta yang berkaitan dan tiada alat muat naik dipanggil.
Ulang dengan arahan dalam blok yang disebut dan dalam hasil alat untuk menguji sempadan kepercayaan yang sama merentas format.
Apa yang ditunjukkan
Latihan pertahanan terhad ini mengesahkan pematuhan tugas tanpa menggunakan fail peribadi sebenar.
Pelaksanaan Dunia Sebenar
Ringkaskan dokumen yang mengandungi petikan seperti arahan tanpa melaksanakannya.
Semak tindakan alat keluar terhadap destinasi dan tujuan asal pengguna.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Sumber dan bacaan lanjut
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the AI Prompt Security quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Bolehkah suntikan segera diselesaikan dengan mengharamkan satu frasa?
Tidak. Isu asas ialah sama ada kandungan yang tidak dipercayai boleh mengubah hala tingkah laku. Serangan boleh menggunakan banyak frasa dan format.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini