ДалееСледующее руководство
Синтетические данные пациентов
Технический
Техническое РУКОВОДСТВО
Эксфильтрация изображения Markdown происходит, когда злоумышленник влияет на выходные данные AI, включая URL-адрес изображения, содержащий конфиденциальные данные, и нижестоящий модуль рендеринга извлекает это удаленное изображение.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Риск зависит как от поведения модели, так и от обработки приложения: безопасный рендеринг, сетевая политика и проверка вывода могут помешать текстовому ответу вызвать непреднамеренный запрос.
Markdown image tags are usually treated as presentation syntax, but a renderer may turn them into network requests. In a documented attack pattern, prompt injection influences a model to emit an image reference whose URL contains information from the conversation. If an application renders that output and the client automatically loads remote images, the request can send the URL and its parameters to a server outside the application’s control. The dangerous step is the combination of untrusted instructions, sensitive context, model-generated markup, and permissive rendering or network egress. OWASP’s Secure Coding with AI guidance warns that Markdown image tags and hidden links in agent output can be used for exfiltration and recommends sanitizing output before rendering. Microsoft’s security documentation also describes the chain: injected instructions can cause an LLM to produce crafted Markdown, then the browser renders it and follows the image URL. This is an application-output-handling risk, not a property that every Markdown parser or AI product automatically has. The result depends on what the model can see, what it can output, how the client renders Markdown, and what network requests are allowed. Defenses belong at multiple boundaries. Avoid placing secrets in model context unless needed; treat generated Markdown as untrusted; escape or remove remote images and unsafe links; and apply a restrictive Content Security Policy or image-host allowlist. Keep network access controlled independently of the model. If images are needed, proxy them through a service that strips sensitive query data and validates destinations. Test with synthetic markers and a controlled endpoint in a sandbox, then verify that no request leaves unexpectedly. A prompt saying “do not reveal secrets” is not a substitute for output sanitization or network controls.
Сумматор документов возвращает изображение Markdown, удаленный URL-адрес которого включает личный текст из разговора; браузер, отображающий изображение, отправляет запрос внешнему хосту.
Приложение чата отображает Markdown в виде обычного текста или удаляет теги удаленных изображений из ненадежных выходных данных модели, предотвращая автоматическое получение внешних данных.
Проверка безопасности проверяет, может ли созданный Markdown привести к тому, что клиент будет выполнять сетевые запросы, и ограничены ли исходящие хосты.
Команда тестирует внедрённый по запросу контент в «песочнице» с синтетическими данными и подтверждает, что журналы не содержат конфиденциальных параметров URL-адресов.
Интерфейсы искусственного интеллекта будут продолжать поддерживать более богатый визуализируемый контент, поэтому командам необходимо рассматривать Markdown и HTML как исполняемые входные данные для презентации с последствиями для конфиденциальности и сети. Дезинфицирующие средства, политики безопасности контента и проксирование могут снизить риск, но при этом поведение клиентов меняется. Приложения должны включать тесты обработки вывода всякий раз, когда изменяются пользовательский интерфейс чата, инструменты агента или рабочие процессы внешнего контента. По мере развития интерфейсов граница сети должна оставаться явной частью моделирования угроз. Для безопасного рендеринга могут потребоваться отдельные настройки по умолчанию для ссылок, изображений и встроенного HTML.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Эксфильтрация изображения Markdown происходит, когда злоумышленник влияет на выходные данные AI, включая URL-адрес изображения, содержащий конфиденциальные данные, и нижестоящий модуль рендеринга извлекает это удаленное изображение. Риск зависит как от поведения модели, так и от обработки приложения: безопасный рендеринг, сетевая политика и проверка вывода могут помешать текстовому ответу вызвать непреднамеренный запрос.
В руководстве описывается цепочка, включающая внедрение подсказок, разметку, созданную моделью, и средство рендеринга, которое извлекает удаленный URL-адрес.
В руководстве объясняется, что информацию можно поместить в URL-адрес изображения, запрошенный клиентом.
Риск требует как вывода модели, так и последующего рендеринга/поведения сети.
OWASP рекомендует очищать или экранировать изображения и ссылки Markdown в выходных данных агента перед рендерингом.
Ограничительная политика безопасности контента может ограничить разрешенные источники изображений и уменьшить количество несанкционированных запросов.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Синтетические данные пациентов
Технический