Als nächstesNächster Leitfaden
Sofortiges Caching
Technisch
Technischer Leitfaden
Prompt-Sicherheit befasst sich mit Versuchen, eine Sprachmodellanwendung dazu zu bringen, nicht vertrauenswürdige Inhalte als Anweisungen zu behandeln oder Informationen offenzulegen, die sie schützen sollte.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
The problem can arise in user input, retrieved documents, webpages, images, or tool responses. Defenses must limit the consequences as well as detect suspicious text.
Separate the user’s authorized task from the content being processed. A document may legitimately contain instructions as part of its subject matter. Those words should not automatically control the assistant’s tools, account access, or response policy. Keep privileges narrow. A summarization task generally does not require unrestricted file access or permission to send messages. Enforce those limits in the application so a model error cannot silently create a broader capability. Validate consequential outputs and actions against the original request. Check the destination, affected records, data being transmitted, and required approval. An external page claiming that the user approved something is not equivalent to an actual user instruction. Build regression cases that vary the location and format of untrusted instructions. Test direct input, retrieved passages, and tool results in a controlled environment. Review whether the application preserves useful task performance while resisting redirection. Avoid claims of a foolproof prompt-injection filter; layered controls and ongoing testing are more credible.
04Ausgearbeitetes Beispiel
Construct a test page containing a normal policy paragraph and a sentence telling the assistant to upload unrelated files.
Ask only for the policy summary. Verify that the summary uses relevant facts and that no upload tool is called.
Repeat with the instruction in a quoted block and in a tool result to test the same trust boundary across formats.
Was es zeigt
This bounded defensive exercise verifies task adherence without using real private files.
Summarize a document that contains an instruction-like passage without executing it.
Check an outgoing tool action against the user’s original destination and purpose.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
No. The underlying issue is whether untrusted content can redirect behavior. Attacks can use many phrasings and formats.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Sofortiges Caching
Technisch