SeterusnyaPanduan seterusnya
Pertahanan Sandwich untuk Promp
Teknikal
PANDUAN Teknikal
Spotlighting menanda atau mengubah teks yang tidak dipercayai supaya model mempunyai isyarat bahawa ia adalah data untuk diproses dan bukan arahan untuk diikuti.
Dengar panduan iniAI-diceritakan · ~3 min
Penelitian menerangkan variasi penandaan, penandaan data, dan pengekodan, tetapi hasilnya bergantung kepada model dan serangan yang diuji; tiada trik format yang mencipta sempadan keselamatan yang dijamin.
Spotlighting is a family of prompt transformations intended to make the provenance of untrusted content more visible in a model’s text context. A 2024 Microsoft-affiliated research paper describes three variants. Delimiting brackets a document with selected markers. Datamarking inserts a marker throughout the text, in the paper’s example replacing whitespace between words. Encoding transforms the document, for example using base64, and instructs the model to interpret the encoded block as data for the assigned task. Each variant also relies on a system instruction that explains how the marked text should be treated. The paper evaluated these methods on a synthetic indirect-injection corpus and older GPT-family model versions. It reported substantially lower attack success in its experiments, including a decrease from above 50% to below 2% for selected settings. Those numbers describe the paper’s particular tasks, attacks, and models; they are not expected production rates or guarantees for current systems. The paper also found encoding could impair underlying tasks for models less capable of decoding the text. This makes per-model utility evaluation important, not optional. Microsoft Foundry documents its Spotlighting preview as a document-attack control that uses base64 transformation and is supported only for models through the Chat Completions API. The docs say this increases document tokens and can cause long inputs to exceed limits, and note a possible user-visible encoding reference. That specific service behavior differs from a generic hand-built technique. In every case, marking helps signal provenance inside a shared text channel; it does not isolate data at a hardware or permission boundary. Test attacks that know the marker, preserve ordinary task quality, and restrict tool permissions so a successful injection has limited consequences.
Penyaring menyisipkan dokumen yang diambil di antara penanda dan menyatakan bahawa arahan dalam teks adalah kandungan untuk diringkaskan, bukan arahan.
Satu pipeline menambah penanda di antara perkataan dalam dokumen, mengikut pendekatan penandaan data, kemudian menguji sama ada penyusunan ringkasan biasa masih berfungsi.
Satu sistem menukar teks menggunakan pengekodan dan memberitahu model yang mahir bagaimana mentafsirkannya sebagai kandungan rujukan, kemudian mengukur ketepatan tugas dan kejayaan serangan.
Pasukan keselamatan menggabungkan penandaan data dengan alat terhad dan menguji serangan yang menyalin, menghilangkan, atau meniru penanda yang dipilih.
Petunjuk asal mungkin menjadi lebih asli bagi antaramuka model, tetapi penanda aras permintaan masih berkongsi saluran konteks yang sama dengan teks yang mereka label. Penyelidikan dan pelaksanaan produk akan berkembang, dan kesannya akan berbeza mengikut versi model dan reka bentuk serangan. Pasukan harus menguji semula kualiti tugas dan kes penyerangan setelah sebarang perubahan, sambil mengekalkan pemeriksaan kebenaran dan pemantauan bebas. Penanda dinamik boleh menjadikan beberapa percubaan penipuan mudah lebih sukar, tetapi ia tidak mewujudkan saluran dipercayai yang berasingan. Semak pola serangan baru apabila sumber pengambilan berubah.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Penyorotan menandakan atau menukar teks tidak dipercayai supaya model mempunyai petunjuk bahawa ia adalah data untuk diproses dan bukannya arahan untuk diikuti. Penyelidikan menerangkan variasi penandaan, penandaan data, dan pengkodan, tetapi keputusan berkait kepada model dan serangan yang diuji; tiada trik format yang mewujudkan sempadan keselamatan yang dijamin.
Penyorotan menggunakan transformasi dan arahan untuk memberi petunjuk asal kandungan tidak dipercayai.
Contoh penandaan data kertas menempatkan aksara yang dipilih pada sempadan perkataan dengan menggantikan ruang kosong.
Panduan mengehadkan nombor yang dilaporkan kepada model, serangan, dan tugas yang diuji dalam kertas.
Kertas kerja melaporkan bahawa beberapa model yang diuji, termasuk GPT-3.5-Turbo, menghadapi kesukaran dengan input yang dienkode dan kualiti tugas.
Microsoft’s current docs describe base64-transformed document content for its Spotlighting preview.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pertahanan Sandwich untuk Promp
Teknikal