PANDUAN Teknikal

Spotlighting and Datamarking Defenses

Spotlighting menanda atau mengubah teks yang tidak dipercayai supaya model mempunyai isyarat bahawa ia adalah data untuk diproses dan bukan arahan untuk diikuti.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini3 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Pelindungan Spotlighting dan Datamarking
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Penelitian menerangkan variasi penandaan, penandaan data, dan pengekodan, tetapi hasilnya bergantung kepada model dan serangan yang diuji; tiada trik format yang mencipta sempadan keselamatan yang dijamin.

Menyelam dalam

Spotlighting is a family of prompt transformations intended to make the provenance of untrusted content more visible in a model’s text context. A 2024 Microsoft-affiliated research paper describes three variants. Delimiting brackets a document with selected markers. Datamarking inserts a marker throughout the text, in the paper’s example replacing whitespace between words. Encoding transforms the document, for example using base64, and instructs the model to interpret the encoded block as data for the assigned task. Each variant also relies on a system instruction that explains how the marked text should be treated. The paper evaluated these methods on a synthetic indirect-injection corpus and older GPT-family model versions. It reported substantially lower attack success in its experiments, including a decrease from above 50% to below 2% for selected settings. Those numbers describe the paper’s particular tasks, attacks, and models; they are not expected production rates or guarantees for current systems. The paper also found encoding could impair underlying tasks for models less capable of decoding the text. This makes per-model utility evaluation important, not optional. Microsoft Foundry documents its Spotlighting preview as a document-attack control that uses base64 transformation and is supported only for models through the Chat Completions API. The docs say this increases document tokens and can cause long inputs to exceed limits, and note a possible user-visible encoding reference. That specific service behavior differs from a generic hand-built technique. In every case, marking helps signal provenance inside a shared text channel; it does not isolate data at a hardware or permission boundary. Test attacks that know the marker, preserve ordinary task quality, and restrict tool permissions so a successful injection has limited consequences.

Pelaksanaan Dunia Sebenar

Penyaring menyisipkan dokumen yang diambil di antara penanda dan menyatakan bahawa arahan dalam teks adalah kandungan untuk diringkaskan, bukan arahan.

Satu pipeline menambah penanda di antara perkataan dalam dokumen, mengikut pendekatan penandaan data, kemudian menguji sama ada penyusunan ringkasan biasa masih berfungsi.

Satu sistem menukar teks menggunakan pengekodan dan memberitahu model yang mahir bagaimana mentafsirkannya sebagai kandungan rujukan, kemudian mengukur ketepatan tugas dan kejayaan serangan.

Pasukan keselamatan menggabungkan penandaan data dengan alat terhad dan menguji serangan yang menyalin, menghilangkan, atau meniru penanda yang dipilih.

Masa Depan Pelindungan Spotlighting dan Datamarking

Petunjuk asal mungkin menjadi lebih asli bagi antaramuka model, tetapi penanda aras permintaan masih berkongsi saluran konteks yang sama dengan teks yang mereka label. Penyelidikan dan pelaksanaan produk akan berkembang, dan kesannya akan berbeza mengikut versi model dan reka bentuk serangan. Pasukan harus menguji semula kualiti tugas dan kes penyerangan setelah sebarang perubahan, sambil mengekalkan pemeriksaan kebenaran dan pemantauan bebas. Penanda dinamik boleh menjadikan beberapa percubaan penipuan mudah lebih sukar, tetapi ia tidak mewujudkan saluran dipercayai yang berasingan. Semak pola serangan baru apabila sumber pengambilan berubah.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Pertahanan Penyorotan dan Penandaan Data

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah itu Pertahanan Penyorotan dan Penandaan Data?

Penyorotan menandakan atau menukar teks tidak dipercayai supaya model mempunyai petunjuk bahawa ia adalah data untuk diproses dan bukannya arahan untuk diikuti. Penyelidikan menerangkan variasi penandaan, penandaan data, dan pengkodan, tetapi keputusan berkait kepada model dan serangan yang diuji; tiada trik format yang mewujudkan sempadan keselamatan yang dijamin.

Apa yang cuba disampaikan penyorotan kepada model bahasa?

Penyorotan menggunakan transformasi dan arahan untuk memberi petunjuk asal kandungan tidak dipercayai.

Bagaimana penandaan data berfungsi dalam contoh kertas?

Contoh penandaan data kertas menempatkan aksara yang dipilih pada sempadan perkataan dengan menggantikan ruang kosong.

Apa yang harus dibaca pembaca daripada pengurangan kejayaan serangan yang dilaporkan dalam kertas?

Panduan mengehadkan nombor yang dilaporkan kepada model, serangan, dan tugas yang diuji dalam kertas.

Apakah batasan yang dilaporkan dalam kertas kerja untuk pengekodan pada model yang kurang berkemampuan yang diuji?

Kertas kerja melaporkan bahawa beberapa model yang diuji, termasuk GPT-3.5-Turbo, menghadapi kesukaran dengan input yang dienkode dan kualiti tugas.

What does Microsoft Foundry’s documented Spotlighting preview do?

Microsoft’s current docs describe base64-transformed document content for its Spotlighting preview.