Kvíz spojený s průvodcem · Těžko úroveň

Rychlý test klasifikátorů detekce vstřikování

Testuje rozsah klasifikátoru, prahové kompromisy, limity verze Prompt Guard 2, konfiguraci Prompt Shields Microsoft a hloubkovou obranu.

Otázka 1 z 8

Co vrací klasifikátor detekce vstřikování?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co vrací klasifikátor detekce vstřikování?
    • Štítek nebo skóre o tom, zda text připomíná útok podle jeho zásad
    • Záruka, že vstup je bezpečný
    • Opravená systémová výzva
    • Důkaz, že se hlavní model podřídil textu
  2. Na jaký typ textu se zaměřuje karta modelu Prompt Guard 2 Meta?
    • Pouze generované výstupy modelu
    • Explicitní pokusy o potlačení předchozích pokynů, označené jako neškodné nebo škodlivé
    • Všechna nepravdivá tvrzení a faktické chyby
    • Každý škodlivý obrázek
  3. Jaký limit kontextového okna uvádí karta Prompt Guard 2?
    • Jeden milion žetonů na každý detektor
    • Omezení pouze na obrazové vstupy
    • 512 žetonů pro dokumentované modely
    • Žádný vstupní limit
  4. Jaké riziko přináší příliš agresivní nastavení prahu klasifikátoru vstřikování?
    • Nové útoky budou vždy blokovány
    • Systém přestane vyžadovat hodnocení
    • Veškerý benigní obsah je klasifikován správně
    • Legitimní bezpečnostní diskuse mohou být označeny
  5. Co se může stát s prahem, který je příliš tolerantní?
    • Nové nebo přeformulované útoky mohou chybět
    • Každý benigní vstup je blokován
    • Klasifikátor se promění v jazykový model
    • Oprávnění nástroje se mění automaticky
  6. Co Microsoft dokumentuje o konfiguraci Prompt Shields?
    • Nezaručuje žádné falešné poplachy
    • Zásahové body se musí shodovat s místem, kde se útoky objevují
    • Tato funkce automaticky kontroluje každé nasazení
    • Nemůže označit útoky na dokumenty
  7. Proč by měl tým zaznamenávat verzi klasifikátoru a bod zásahu?
    • Aby se zabránilo sledování falešných poplachů
    • Chcete-li obejít všechny limity modelu
    • Interpretovat a reprodukovat, proč byl určitý obsah hodnocen nebo filtrován
    • Aby skóre bylo právním závěrem
  8. Jak by měly výsledky klasifikátoru zapadnout do návrhu zabezpečení?
    • Jako jediný důkaz, že veškerý neoznačený text je bezpečný
    • Jako náhrada za testování
    • Jako automatická autorizace pro nástroje
    • Jako jeden signál kombinovaný s původem, oprávněními, ověřováním a monitorováním