Technický PRŮVODCE

Spotlighting and Datamarking Defenses

Spotlighting označuje nebo transformuje nedůvěryhodný text, aby model měl podnět, že se jedná o data k zpracování, nikoli o instrukci k provedení.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce3 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost obrany pomocí Spotlightingu a datového označování
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Výzkum popisuje varianty ohraničování, datového označování a kódování, ale výsledky jsou svázány s testovanými modely a útoky; žádný trik s formátováním nevytvoří zaručenou bezpečnostní hranici.

Hluboký ponor

Spotlighting is a family of prompt transformations intended to make the provenance of untrusted content more visible in a model’s text context. A 2024 Microsoft-affiliated research paper describes three variants. Delimiting brackets a document with selected markers. Datamarking inserts a marker throughout the text, in the paper’s example replacing whitespace between words. Encoding transforms the document, for example using base64, and instructs the model to interpret the encoded block as data for the assigned task. Each variant also relies on a system instruction that explains how the marked text should be treated. The paper evaluated these methods on a synthetic indirect-injection corpus and older GPT-family model versions. It reported substantially lower attack success in its experiments, including a decrease from above 50% to below 2% for selected settings. Those numbers describe the paper’s particular tasks, attacks, and models; they are not expected production rates or guarantees for current systems. The paper also found encoding could impair underlying tasks for models less capable of decoding the text. This makes per-model utility evaluation important, not optional. Microsoft Foundry documents its Spotlighting preview as a document-attack control that uses base64 transformation and is supported only for models through the Chat Completions API. The docs say this increases document tokens and can cause long inputs to exceed limits, and note a possible user-visible encoding reference. That specific service behavior differs from a generic hand-built technique. In every case, marking helps signal provenance inside a shared text channel; it does not isolate data at a hardware or permission boundary. Test attacks that know the marker, preserve ordinary task quality, and restrict tool permissions so a successful injection has limited consequences.

Real-World Implementace

Shrnovač vloží získaný dokument mezi oddělovače a uvede, že instrukce v textu jsou obsahem ke shrnutí, nikoli příkazy.

Roura vloží značku mezi slova v dokumentu podle přístupu datového označování a poté otestuje, zda běžné shrnutí stále funguje.

Systém transformuje úryvek pomocí kódování a řekne schopnému modelu, jak jej interpretovat jako referenční obsah, a následně měří přesnost úkolu a úspěšnost útoku.

Tým bezpečnosti spáruje označování dat s omezenými nástroji a testuje útoky, které kopírují, vynechávají nebo napodobují zvolenou značku.

Budoucnost obrany pomocí Spotlightingu a datového označování

Nápovědy o původu mohou být v rozhraních modelů čím dál přirozenější, ale označování na úrovni výzvy stále sdílí stejný kontextový kanál jako text, který označují. Výzkum i produktové implementace se budou vyvíjet a jejich účinky se budou lišit podle verzí modelů a návrhů útoků. Týmy by měly po každé změně znovu testovat kvalitu úkolů a adversariální případy, přičemž by měly zachovat nezávislé kontroly oprávnění a monitorování. Dynamické značky by mohly ztížit některé jednoduché pokusy o podvržení, ale nevytvářejí samostatný důvěryhodný kanál. Sledujte nové vzory útoků, jak se mění zdroje vyhledávání.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Vyplňte kvíz o obraně pomocí Spotlightingu a Datamarkingu

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co jsou obrany pomocí Spotlightingu a Datamarkingu?

Spotlighting označuje nebo transformuje nedůvěryhodný text tak, aby model měl signál, že jde o data k zpracování, nikoli o instrukci, kterou má následovat. Výzkum popisuje varianty delimitingu, datamarkingu a kódování, ale výsledky jsou svázány s testovanými modely a útoky; žádný formátovací trik nevytváří zaručenou bezpečnostní hranici.

Co se Spotlighting snaží modelu sdělit?

Spotlighting používá transformace a instrukce k naznačení původu nedůvěryhodného obsahu.

Jak funguje datamarking v příkladu v článku?

Příklad datamarkingu v článku vkládá zvolený znak na hranice slov nahrazením mezer.

Co by si čtenáři měli vyvodit z hlášených snížení úspěšnosti útoků v článku?

Průvodce omezuje uváděná čísla na modely, útoky a úkoly testované v článku.

Jaké omezení uvádí článek ohledně kódování u méně výkonných testovaných modelů?

Článek uvádí, že některé testované modely, včetně GPT-3.5-Turbo, měly problémy s kódovanými vstupy a kvalitou úkolu.

What does Microsoft Foundry’s documented Spotlighting preview do?

Současná dokumentace Microsoft popisuje obsah dokumentu transformovaný do base64 pro náhled Spotlighting.