Kvíz spojený s průvodcem · Těžko úroveň
Rychlý test klasifikátorů detekce vstřikování
Testuje rozsah klasifikátoru, prahové kompromisy, limity verze Prompt Guard 2, konfiguraci Prompt Shields Microsoft a hloubkovou obranu.
Otázka 1 z 8
Co vrací klasifikátor detekce vstřikování?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co vrací klasifikátor detekce vstřikování?
- Štítek nebo skóre o tom, zda text připomíná útok podle jeho zásad
- Záruka, že vstup je bezpečný
- Opravená systémová výzva
- Důkaz, že se hlavní model podřídil textu
- Na jaký typ textu se zaměřuje karta modelu Prompt Guard 2 Meta?
- Pouze generované výstupy modelu
- Explicitní pokusy o potlačení předchozích pokynů, označené jako neškodné nebo škodlivé
- Všechna nepravdivá tvrzení a faktické chyby
- Každý škodlivý obrázek
- Jaký limit kontextového okna uvádí karta Prompt Guard 2?
- Jeden milion žetonů na každý detektor
- Omezení pouze na obrazové vstupy
- 512 žetonů pro dokumentované modely
- Žádný vstupní limit
- Jaké riziko přináší příliš agresivní nastavení prahu klasifikátoru vstřikování?
- Nové útoky budou vždy blokovány
- Systém přestane vyžadovat hodnocení
- Veškerý benigní obsah je klasifikován správně
- Legitimní bezpečnostní diskuse mohou být označeny
- Co se může stát s prahem, který je příliš tolerantní?
- Nové nebo přeformulované útoky mohou chybět
- Každý benigní vstup je blokován
- Klasifikátor se promění v jazykový model
- Oprávnění nástroje se mění automaticky
- Co Microsoft dokumentuje o konfiguraci Prompt Shields?
- Nezaručuje žádné falešné poplachy
- Zásahové body se musí shodovat s místem, kde se útoky objevují
- Tato funkce automaticky kontroluje každé nasazení
- Nemůže označit útoky na dokumenty
- Proč by měl tým zaznamenávat verzi klasifikátoru a bod zásahu?
- Aby se zabránilo sledování falešných poplachů
- Chcete-li obejít všechny limity modelu
- Interpretovat a reprodukovat, proč byl určitý obsah hodnocen nebo filtrován
- Aby skóre bylo právním závěrem
- Jak by měly výsledky klasifikátoru zapadnout do návrhu zabezpečení?
- Jako jediný důkaz, že veškerý neoznačený text je bezpečný
- Jako náhrada za testování
- Jako automatická autorizace pro nástroje
- Jako jeden signál kombinovaný s původem, oprávněními, ověřováním a monitorováním