GUIDA TECNICA

Spotlighting and Datamarking Defenses

Lo Spotlight evidenzia o trasforma il testo non attendibile in modo che il modello riceva un segnale indicante che si tratta di dati da elaborare anziché di un'istruzione da seguire.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina3 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro delle difese basate su Spotlight e Datamarking
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

La ricerca descrive varianti di delimitazione, datamarking e codifica, ma i risultati sono legati ai modelli e agli attacchi testati; nessun trucco di formattazione crea un confine di sicurezza garantito.

Immersione profonda

Spotlighting is a family of prompt transformations intended to make the provenance of untrusted content more visible in a model’s text context. A 2024 Microsoft-affiliated research paper describes three variants. Delimiting brackets a document with selected markers. Datamarking inserts a marker throughout the text, in the paper’s example replacing whitespace between words. Encoding transforms the document, for example using base64, and instructs the model to interpret the encoded block as data for the assigned task. Each variant also relies on a system instruction that explains how the marked text should be treated. The paper evaluated these methods on a synthetic indirect-injection corpus and older GPT-family model versions. It reported substantially lower attack success in its experiments, including a decrease from above 50% to below 2% for selected settings. Those numbers describe the paper’s particular tasks, attacks, and models; they are not expected production rates or guarantees for current systems. The paper also found encoding could impair underlying tasks for models less capable of decoding the text. This makes per-model utility evaluation important, not optional. Microsoft Foundry documents its Spotlighting preview as a document-attack control that uses base64 transformation and is supported only for models through the Chat Completions API. The docs say this increases document tokens and can cause long inputs to exceed limits, and note a possible user-visible encoding reference. That specific service behavior differs from a generic hand-built technique. In every case, marking helps signal provenance inside a shared text channel; it does not isolate data at a hardware or permission boundary. Test attacks that know the marker, preserve ordinary task quality, and restrict tool permissions so a successful injection has limited consequences.

Implementazione nel mondo reale

Un riassuntore inserisce un documento recuperato tra delimitatori e specifica che le istruzioni all'interno del brano sono contenuti da riassumere, non comandi.

Una pipeline inserisce un marcatore tra le parole di un documento, seguendo un approccio di datamarking, e successivamente verifica se il normale processo di riassunto continua a funzionare.

Un sistema trasforma un brano utilizzando una codifica e indica a un modello capace come interpretarlo come contenuto di riferimento, misurando poi l'accuratezza del compito e il successo degli attacchi.

Un team di sicurezza abbina la marcatura dei dati a strumenti limitati ed effettua test per individuare attacchi che copiano, omettono o imitano il marcatore scelto.

Il futuro delle difese basate su Spotlight e Datamarking

I segnali di provenienza potrebbero diventare più nativi nelle interfacce dei modelli, ma le marcature a livello di prompt condividono ancora lo stesso canale di contesto del testo che etichettano. La ricerca e le implementazioni dei prodotti si evolveranno e i loro effetti varieranno a seconda delle versioni dei modelli e dei progetti di attacco. I team dovrebbero ripetere i test sulla qualità dei compiti e sui casi avversi dopo qualsiasi modifica, mantenendo al contempo controlli di autorizzazione indipendenti e monitoraggio. I marcatori dinamici potrebbero rendere più difficili alcuni semplici tentativi di spoofing, ma non creano un canale sicuro separato. Esaminare i nuovi pattern di attacco man mano che le fonti di recupero cambiano.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Fai il quiz sulle difese Spotlighting e Datamarking

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cosa sono le difese Spotlighting e Datamarking?

Lo Spotlight evidenzia o trasforma il testo non attendibile in modo che il modello riceva un segnale indicante che si tratta di dati da elaborare anziché di un'istruzione da seguire. La ricerca descrive varianti di delimitazione, datamarking e codifica, ma i risultati sono legati ai modelli e agli attacchi testati; nessun trucco di formattazione crea un confine di sicurezza garantito.

Cosa cerca di segnalare lo spotlight a un modello di linguaggio?

Lo spotlight utilizza trasformazioni e istruzioni per segnalare la provenienza di contenuti non attendibili.

Come funziona il datamarking nell'esempio del documento?

L'esempio di datamarking del documento inserisce un carattere scelto ai confini delle parole sostituendo lo spazio vuoto.

Cosa dovrebbero dedurre i lettori dalle riduzioni del successo degli attacchi riportate nel documento?

La guida limita i numeri riportati ai modelli, agli attacchi e ai compiti testati nel documento.

Quale limitazione ha riportato il documento per la codifica sui modelli testati meno capaci?

Il documento riporta che alcuni modelli testati, tra cui GPT-3.5-Turbo, hanno riscontrato difficoltà con gli input codificati e la qualità dei compiti.

What does Microsoft Foundry’s documented Spotlighting preview do?

La documentazione attuale di Microsoft descrive il contenuto del documento trasformato in base64 per la sua anteprima di Spotlighting.