Il prossimoProssima guida
La difesa Sandwich per i prompt
Tecnico
GUIDA TECNICA
Lo Spotlight evidenzia o trasforma il testo non attendibile in modo che il modello riceva un segnale indicante che si tratta di dati da elaborare anziché di un'istruzione da seguire.
Ascolta questa guidaNarrato dall'IA · ~3 min
La ricerca descrive varianti di delimitazione, datamarking e codifica, ma i risultati sono legati ai modelli e agli attacchi testati; nessun trucco di formattazione crea un confine di sicurezza garantito.
Spotlighting is a family of prompt transformations intended to make the provenance of untrusted content more visible in a model’s text context. A 2024 Microsoft-affiliated research paper describes three variants. Delimiting brackets a document with selected markers. Datamarking inserts a marker throughout the text, in the paper’s example replacing whitespace between words. Encoding transforms the document, for example using base64, and instructs the model to interpret the encoded block as data for the assigned task. Each variant also relies on a system instruction that explains how the marked text should be treated. The paper evaluated these methods on a synthetic indirect-injection corpus and older GPT-family model versions. It reported substantially lower attack success in its experiments, including a decrease from above 50% to below 2% for selected settings. Those numbers describe the paper’s particular tasks, attacks, and models; they are not expected production rates or guarantees for current systems. The paper also found encoding could impair underlying tasks for models less capable of decoding the text. This makes per-model utility evaluation important, not optional. Microsoft Foundry documents its Spotlighting preview as a document-attack control that uses base64 transformation and is supported only for models through the Chat Completions API. The docs say this increases document tokens and can cause long inputs to exceed limits, and note a possible user-visible encoding reference. That specific service behavior differs from a generic hand-built technique. In every case, marking helps signal provenance inside a shared text channel; it does not isolate data at a hardware or permission boundary. Test attacks that know the marker, preserve ordinary task quality, and restrict tool permissions so a successful injection has limited consequences.
Un riassuntore inserisce un documento recuperato tra delimitatori e specifica che le istruzioni all'interno del brano sono contenuti da riassumere, non comandi.
Una pipeline inserisce un marcatore tra le parole di un documento, seguendo un approccio di datamarking, e successivamente verifica se il normale processo di riassunto continua a funzionare.
Un sistema trasforma un brano utilizzando una codifica e indica a un modello capace come interpretarlo come contenuto di riferimento, misurando poi l'accuratezza del compito e il successo degli attacchi.
Un team di sicurezza abbina la marcatura dei dati a strumenti limitati ed effettua test per individuare attacchi che copiano, omettono o imitano il marcatore scelto.
I segnali di provenienza potrebbero diventare più nativi nelle interfacce dei modelli, ma le marcature a livello di prompt condividono ancora lo stesso canale di contesto del testo che etichettano. La ricerca e le implementazioni dei prodotti si evolveranno e i loro effetti varieranno a seconda delle versioni dei modelli e dei progetti di attacco. I team dovrebbero ripetere i test sulla qualità dei compiti e sui casi avversi dopo qualsiasi modifica, mantenendo al contempo controlli di autorizzazione indipendenti e monitoraggio. I marcatori dinamici potrebbero rendere più difficili alcuni semplici tentativi di spoofing, ma non creano un canale sicuro separato. Esaminare i nuovi pattern di attacco man mano che le fonti di recupero cambiano.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Lo Spotlight evidenzia o trasforma il testo non attendibile in modo che il modello riceva un segnale indicante che si tratta di dati da elaborare anziché di un'istruzione da seguire. La ricerca descrive varianti di delimitazione, datamarking e codifica, ma i risultati sono legati ai modelli e agli attacchi testati; nessun trucco di formattazione crea un confine di sicurezza garantito.
Lo spotlight utilizza trasformazioni e istruzioni per segnalare la provenienza di contenuti non attendibili.
L'esempio di datamarking del documento inserisce un carattere scelto ai confini delle parole sostituendo lo spazio vuoto.
La guida limita i numeri riportati ai modelli, agli attacchi e ai compiti testati nel documento.
Il documento riporta che alcuni modelli testati, tra cui GPT-3.5-Turbo, hanno riscontrato difficoltà con gli input codificati e la qualità dei compiti.
La documentazione attuale di Microsoft descrive il contenuto del documento trasformato in base64 per la sua anteprima di Spotlighting.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
La difesa Sandwich per i prompt
Tecnico