Kvíz spojený s průvodcem · Střední úroveň
Kvíz rychlých injekčních útoků
Přezkoumejte hranice důvěry instrukcí a nepřímé vkládání, s omezením nástrojů, školením hierarchie, narušením úkolů a riziky multimodálního vstupu.
Otázka 1 z 8
Které selhání důvěry může zneužít pokus o okamžité vložení?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Které selhání důvěry může zneužít pokus o okamžité vložení?
- Nepříznivé pokyny v úkolovém materiálu jsou dodržovány jako autoritativní příkazy
- Požadavek, aby každý model zašifroval celý svůj kontext
- Záruka, že všechny modely mají oprávnění správce
- Požadavek, aby se každý model vždy podřídil každému zadání
- Jak se NEPŘÍMÁ rychlá injekce liší od přímé injekce?
- Funguje pouze na obrazových modelech
- Vyžaduje fyzický přístup k serveru
- Škodlivé pokyny jsou uloženy v externím zdroji, který si model později přečte, nikoli ve vlastní zprávě uživatele
- Provádí to vývojář záměrně
- Jaký cíl dostupnosti zahrnuje uvedená taxonomie nepřímého vstřikování?
- Pouze krádež celého tréninkového korpusu při každém útoku
- Inhibice užitečných odpovědí nebo narušení vyhledávacího úkolu
- Pouze změna velikosti fyzické paměti GPU
- Pouze zlepšit všechny autorizované výsledky vyhledávání
- Jak mohou oprávnění nástroje s nejnižšími oprávněními omezit důsledky úspěšné injekce?
- Dokazují, že každá povolená operace je v každém kontextu neškodná
- Zaručují, že model nikdy nenavrhne vstřikovanou akci
- Odstraňují potřebu jakéhokoli ověřování výstupu nebo akce
- Omezují operace a zdroje dostupné pro pracovní postup
- Jaké chování má studie Instrukční hierarchie trénovat?
- Řazení všech načtených slov podle abecedy
- Zacházení s každou webovou stránkou jako autoritativnější než vývojář
- Dodržování privilegovaných pokynů ohledně konfliktního obsahu s nižší prioritou
- Šifrování slovníku modelu pomocí klíče obrázku
- Proč se rychlá injekce stává nebezpečnější, když agenti AI získávají nástroje?
- Oklamaný agent nyní může provádět skutečné akce, jako je odesílání e-mailů, spouštění kódu nebo únik dat
- Agenti běží s nástroji pomaleji
- Díky nástrojům model zapomene na svůj trénink
- Nástroje zdvojnásobují složitost modelu
- Proč by mělo vyhodnocení okamžitého vložení zahrnovat obrázky, když aplikace přijímá multimodální vstup?
- Obrázky zaručují, že všechny pokyny jsou důvěryhodné
- Obrázek může obsahovat pouze jeden numerický skalár
- Testování prostého textu automaticky pokryje každý obrazový vstup
- Do obrazového kanálu lze vložit nepřátelské instrukce
- Proč pouhá citace instrukce k útoku nestačí ke zjištění, že aplikace byla kompromitována?
- Každý řetězec v uvozovkách nutně mění systémová oprávnění
- Text může být legitimním analytickým materiálem a nikdy nesmí být proveden jako instrukce
- Útočník musí nejprve upravit všechny hmotnosti původního modelu
- Žádný oprávněný uživatel nemůže nikdy diskutovat o bezpečnostním útoku