GUIDA TECNICA

Llama Classificatori di protezione e sicurezza

Llama Guard è una famiglia di classificatori di sicurezza che etichetta prompt e risposte del modello rispetto a una politica di pericolo definita.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina3 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il Futuro di Llama Guard e dei Classificatori di Sicurezza
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

La versione attuale di Llama Guard 4 12B è un classificatore multimodale per testo e immagini, mentre le versioni precedenti hanno capacità diverse; un risultato del classificatore è un singolo segnale di sicurezza, non un sistema completo di moderazione o sicurezza.

Immersione profonda

Llama Guard is a safety-classification model intended to work alongside a generative model. It can classify an incoming prompt, a generated response, or both, and returns a safe/unsafe label with category information for unsafe content. That output can support a product’s moderation decision, but the application still has to define what to do with each label: block, transform, escalate, or permit. A classifier’s categories and training policy are not automatically identical to an organization’s legal duties or product rules. Capabilities depend on the version. Meta’s current Llama Guard 4 12B model card describes a natively multimodal classifier for text and one or more images, based on a hazard taxonomy, with prompt and response classification. It also describes an added text-only code-interpreter-abuse category. Earlier Guard versions are different; do not transfer Guard 4’s image support, parameter size, or language claims to them. The official documentation gives model-specific prompt formats and compatibility guidance, so deployments should verify the exact checkpoint and interface they use. Use input filtering when a product wants to stop certain requests before generation, and output filtering when it wants to inspect what the model actually produced. Using both provides two decision points, but can also increase refusals or latency. Meta documents limitations including imperfect policy coverage, dependence on training knowledge for some categories, and susceptibility to adversarial or prompt-injection attacks. Evaluate the full application with representative examples, inspect false positives and misses, and add other controls for sensitive decisions. A safety label is evidence for a workflow, not proof that all unsafe content has been caught.

Implementazione nel mondo reale

Un'applicazione verifica un prompt utente prima della generazione, poi verifica separatamente la risposta generata prima di mostrarla, registrando quale fase ha attivato un blocco.

Un team che gestisce richieste di testo e immagine miscelate valuta entrambe le parti insieme con Llama Guard 4 e testa il suo comportamento sui formati di immagine esatti utilizzati dall'applicazione.

Un prodotto mappa la sua politica di moderazione alle categorie di pericolo supportate dal classificatore e invia i casi non coperti a un percorso di revisione separato.

Un'implementazione multilingue testa le lingue rappresentative, i casi limite di policy, i falsi positivi e gli input avversari prima di decidere dove il modello è adatto.

Il Futuro di Llama Guard e dei Classificatori di Sicurezza

I classificatori di sicurezza probabilmente rimarranno utili come controlli modulari nei sistemi che combinano modelli, codice di policy e revisione umana. I checkpoint multimodali ampliano i tipi di input che un singolo classificatore può esaminare, ma una copertura più ampia non elimina le lacune di valutazione o i rischi specifici del deployment. I team dovrebbero monitorare le modifiche alla card del modello, ripetere i test quando le versioni o le policy cambiano, e evitare di trattare i risultati dei benchmark del fornitore come un sostituto dei propri test sul caso d’uso. Pubblicare i criteri di accettazione interni per la reale combinazione di lingua e modalità dell’applicazione.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Prendi il quiz Llama Guard e Safety Classifiers

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cos’è Llama Guard e Safety Classifiers?

Llama Guard è una famiglia di classificatori di sicurezza che etichettano prompt e risposte del modello rispetto a una policy di pericolo definita. L’attuale rilascio Llama Guard 4 12B è un classificatore multimodale per testo e immagini, mentre le versioni precedenti hanno capacità diverse; un risultato del classificatore è un segnale di sicurezza, non un sistema completo di moderazione o sicurezza.

Cosa fornisce un classificatore Llama Guard a un’applicazione?

La card del modello descrive le etichette per contenuti sicuri o non sicuri e categorie di pericolo; la policy dell’applicazione determina comunque la prossima azione.

Quali modalità descrive Meta per Llama Guard 4 12B?

Meta descrive Guard 4 come nativamente multimodale e classificando testo insieme a una o più immagini; non è una classificazione solo di immagini.

Come dovrebbe un team usare il supporto immagine Llama Guard 4 quando revisiona una richiesta mista?

La scheda attuale descrive l'input congiunto testo‑e‑immagine e afferma che il modello non è progettato per la classificazione solo immagine.

In che modo il filtraggio dell'input differisce dal filtraggio dell'output?

La scheda del modello distingue la classificazione del prompt prima della generazione dalla classificazione della risposta dopo la generazione.

Perché un sistema potrebbe combinare i controlli di input e output?

Meta descrive entrambi i modi di filtraggio e osserva che usarli entrambi fornisce sicurezza aggiuntiva, sebbene rimangano delle limitazioni.