DalšíDalší průvodce
Sandwich Defense pro Prompt
Technický
Technický PRŮVODCE
Spotlighting označuje nebo transformuje nedůvěryhodný text, aby model měl podnět, že se jedná o data k zpracování, nikoli o instrukci k provedení.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Výzkum popisuje varianty ohraničování, datového označování a kódování, ale výsledky jsou svázány s testovanými modely a útoky; žádný trik s formátováním nevytvoří zaručenou bezpečnostní hranici.
Spotlighting is a family of prompt transformations intended to make the provenance of untrusted content more visible in a model’s text context. A 2024 Microsoft-affiliated research paper describes three variants. Delimiting brackets a document with selected markers. Datamarking inserts a marker throughout the text, in the paper’s example replacing whitespace between words. Encoding transforms the document, for example using base64, and instructs the model to interpret the encoded block as data for the assigned task. Each variant also relies on a system instruction that explains how the marked text should be treated. The paper evaluated these methods on a synthetic indirect-injection corpus and older GPT-family model versions. It reported substantially lower attack success in its experiments, including a decrease from above 50% to below 2% for selected settings. Those numbers describe the paper’s particular tasks, attacks, and models; they are not expected production rates or guarantees for current systems. The paper also found encoding could impair underlying tasks for models less capable of decoding the text. This makes per-model utility evaluation important, not optional. Microsoft Foundry documents its Spotlighting preview as a document-attack control that uses base64 transformation and is supported only for models through the Chat Completions API. The docs say this increases document tokens and can cause long inputs to exceed limits, and note a possible user-visible encoding reference. That specific service behavior differs from a generic hand-built technique. In every case, marking helps signal provenance inside a shared text channel; it does not isolate data at a hardware or permission boundary. Test attacks that know the marker, preserve ordinary task quality, and restrict tool permissions so a successful injection has limited consequences.
Shrnovač vloží získaný dokument mezi oddělovače a uvede, že instrukce v textu jsou obsahem ke shrnutí, nikoli příkazy.
Roura vloží značku mezi slova v dokumentu podle přístupu datového označování a poté otestuje, zda běžné shrnutí stále funguje.
Systém transformuje úryvek pomocí kódování a řekne schopnému modelu, jak jej interpretovat jako referenční obsah, a následně měří přesnost úkolu a úspěšnost útoku.
Tým bezpečnosti spáruje označování dat s omezenými nástroji a testuje útoky, které kopírují, vynechávají nebo napodobují zvolenou značku.
Nápovědy o původu mohou být v rozhraních modelů čím dál přirozenější, ale označování na úrovni výzvy stále sdílí stejný kontextový kanál jako text, který označují. Výzkum i produktové implementace se budou vyvíjet a jejich účinky se budou lišit podle verzí modelů a návrhů útoků. Týmy by měly po každé změně znovu testovat kvalitu úkolů a adversariální případy, přičemž by měly zachovat nezávislé kontroly oprávnění a monitorování. Dynamické značky by mohly ztížit některé jednoduché pokusy o podvržení, ale nevytvářejí samostatný důvěryhodný kanál. Sledujte nové vzory útoků, jak se mění zdroje vyhledávání.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Spotlighting označuje nebo transformuje nedůvěryhodný text tak, aby model měl signál, že jde o data k zpracování, nikoli o instrukci, kterou má následovat. Výzkum popisuje varianty delimitingu, datamarkingu a kódování, ale výsledky jsou svázány s testovanými modely a útoky; žádný formátovací trik nevytváří zaručenou bezpečnostní hranici.
Spotlighting používá transformace a instrukce k naznačení původu nedůvěryhodného obsahu.
Příklad datamarkingu v článku vkládá zvolený znak na hranice slov nahrazením mezer.
Průvodce omezuje uváděná čísla na modely, útoky a úkoly testované v článku.
Článek uvádí, že některé testované modely, včetně GPT-3.5-Turbo, měly problémy s kódovanými vstupy a kvalitou úkolu.
Současná dokumentace Microsoft popisuje obsah dokumentu transformovaný do base64 pro náhled Spotlighting.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Sandwich Defense pro Prompt
Technický