Техническое РУКОВОДСТВО

Классификаторы безопасности и фильтры Llama

Llama Guard is a family of safety classifiers that labels prompts and model responses against a defined hazard policy.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. The Future of Llama Guard and Safety Classifiers
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

The current Llama Guard 4 12B release is a multimodal classifier for text and images, while earlier versions have different capabilities; a classifier result is one safety signal, not a complete moderation or security system.

Глубокое погружение

Llama Guard is a safety-classification model intended to work alongside a generative model. It can classify an incoming prompt, a generated response, or both, and returns a safe/unsafe label with category information for unsafe content. That output can support a product’s moderation decision, but the application still has to define what to do with each label: block, transform, escalate, or permit. A classifier’s categories and training policy are not automatically identical to an organization’s legal duties or product rules. Capabilities depend on the version. Meta’s current Llama Guard 4 12B model card describes a natively multimodal classifier for text and one or more images, based on a hazard taxonomy, with prompt and response classification. It also describes an added text-only code-interpreter-abuse category. Earlier Guard versions are different; do not transfer Guard 4’s image support, parameter size, or language claims to them. The official documentation gives model-specific prompt formats and compatibility guidance, so deployments should verify the exact checkpoint and interface they use. Use input filtering when a product wants to stop certain requests before generation, and output filtering when it wants to inspect what the model actually produced. Using both provides two decision points, but can also increase refusals or latency. Meta documents limitations including imperfect policy coverage, dependence on training knowledge for some categories, and susceptibility to adversarial or prompt-injection attacks. Evaluate the full application with representative examples, inspect false positives and misses, and add other controls for sensitive decisions. A safety label is evidence for a workflow, not proof that all unsafe content has been caught.

Реальная реализация

An application checks a user prompt before generation, then separately checks the generated response before showing it, recording which stage triggered a block.

A team handling mixed text-and-image requests evaluates both parts together with Llama Guard 4 and tests its behavior on the exact image formats used by the application.

A product maps its moderation policy to the classifier’s supported hazard categories and sends uncovered cases to a separate review path.

A multilingual deployment tests representative languages, policy edge cases, false positives, and adversarial inputs before deciding where the model is suitable.

The Future of Llama Guard and Safety Classifiers

Safety classifiers are likely to remain useful as modular checks in systems that combine models, policy code, and human review. Multimodal checkpoints widen the kinds of input a single classifier can inspect, but broader coverage does not remove evaluation gaps or deployment-specific risks. Teams should track model-card changes, repeat tests when versions or policies change, and avoid treating vendor benchmark results as a substitute for testing their own use case. Publish internal acceptance criteria for the application’s actual language and modality mix.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Llama Guard and Safety Classifiers quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

What is Llama Guard and Safety Classifiers?

Llama Guard is a family of safety classifiers that labels prompts and model responses against a defined hazard policy. The current Llama Guard 4 12B release is a multimodal classifier for text and images, while earlier versions have different capabilities; a classifier result is one safety signal, not a complete moderation or security system.

What does a Llama Guard classifier provide to an application?

The model card describes labels for safe or unsafe content and hazard categories; application policy still determines the next action.

Which modalities does Meta describe for Llama Guard 4 12B?

Meta describes Guard 4 as natively multimodal and classifying text together with one or more images; it is not image-only classification.

How should a team use Llama Guard 4 image support when reviewing a mixed request?

The current card describes joint text-and-image input and says the model is not designed for image-only classification.

How does input filtering differ from output filtering?

The model card distinguishes prompt classification before generation from response classification after generation.

Why might a system combine input and output checks?

Meta describes both filtering modes and notes that using both gives additional security, while limitations remain.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →