Il prossimoProssima guida
Classificatori di rilevamento rapido dell'iniezione
Tecnico
GUIDA TECNICA
Llama Guard è una famiglia di classificatori di sicurezza che etichetta prompt e risposte del modello rispetto a una politica di pericolo definita.
Ascolta questa guidaNarrato dall'IA · ~3 min
La versione attuale di Llama Guard 4 12B è un classificatore multimodale per testo e immagini, mentre le versioni precedenti hanno capacità diverse; un risultato del classificatore è un singolo segnale di sicurezza, non un sistema completo di moderazione o sicurezza.
Llama Guard is a safety-classification model intended to work alongside a generative model. It can classify an incoming prompt, a generated response, or both, and returns a safe/unsafe label with category information for unsafe content. That output can support a product’s moderation decision, but the application still has to define what to do with each label: block, transform, escalate, or permit. A classifier’s categories and training policy are not automatically identical to an organization’s legal duties or product rules. Capabilities depend on the version. Meta’s current Llama Guard 4 12B model card describes a natively multimodal classifier for text and one or more images, based on a hazard taxonomy, with prompt and response classification. It also describes an added text-only code-interpreter-abuse category. Earlier Guard versions are different; do not transfer Guard 4’s image support, parameter size, or language claims to them. The official documentation gives model-specific prompt formats and compatibility guidance, so deployments should verify the exact checkpoint and interface they use. Use input filtering when a product wants to stop certain requests before generation, and output filtering when it wants to inspect what the model actually produced. Using both provides two decision points, but can also increase refusals or latency. Meta documents limitations including imperfect policy coverage, dependence on training knowledge for some categories, and susceptibility to adversarial or prompt-injection attacks. Evaluate the full application with representative examples, inspect false positives and misses, and add other controls for sensitive decisions. A safety label is evidence for a workflow, not proof that all unsafe content has been caught.
Un'applicazione verifica un prompt utente prima della generazione, poi verifica separatamente la risposta generata prima di mostrarla, registrando quale fase ha attivato un blocco.
Un team che gestisce richieste di testo e immagine miscelate valuta entrambe le parti insieme con Llama Guard 4 e testa il suo comportamento sui formati di immagine esatti utilizzati dall'applicazione.
Un prodotto mappa la sua politica di moderazione alle categorie di pericolo supportate dal classificatore e invia i casi non coperti a un percorso di revisione separato.
Un'implementazione multilingue testa le lingue rappresentative, i casi limite di policy, i falsi positivi e gli input avversari prima di decidere dove il modello è adatto.
I classificatori di sicurezza probabilmente rimarranno utili come controlli modulari nei sistemi che combinano modelli, codice di policy e revisione umana. I checkpoint multimodali ampliano i tipi di input che un singolo classificatore può esaminare, ma una copertura più ampia non elimina le lacune di valutazione o i rischi specifici del deployment. I team dovrebbero monitorare le modifiche alla card del modello, ripetere i test quando le versioni o le policy cambiano, e evitare di trattare i risultati dei benchmark del fornitore come un sostituto dei propri test sul caso d’uso. Pubblicare i criteri di accettazione interni per la reale combinazione di lingua e modalità dell’applicazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Llama Guard è una famiglia di classificatori di sicurezza che etichettano prompt e risposte del modello rispetto a una policy di pericolo definita. L’attuale rilascio Llama Guard 4 12B è un classificatore multimodale per testo e immagini, mentre le versioni precedenti hanno capacità diverse; un risultato del classificatore è un segnale di sicurezza, non un sistema completo di moderazione o sicurezza.
La card del modello descrive le etichette per contenuti sicuri o non sicuri e categorie di pericolo; la policy dell’applicazione determina comunque la prossima azione.
Meta descrive Guard 4 come nativamente multimodale e classificando testo insieme a una o più immagini; non è una classificazione solo di immagini.
La scheda attuale descrive l'input congiunto testo‑e‑immagine e afferma che il modello non è progettato per la classificazione solo immagine.
La scheda del modello distingue la classificazione del prompt prima della generazione dalla classificazione della risposta dopo la generazione.
Meta descrive entrambi i modi di filtraggio e osserva che usarli entrambi fornisce sicurezza aggiuntiva, sebbene rimangano delle limitazioni.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Classificatori di rilevamento rapido dell'iniezione
Tecnico