Kvíz spojený s průvodcem · Střední úroveň

Kvíz rychlých injekčních útoků

Přezkoumejte hranice důvěry instrukcí a nepřímé vkládání, s omezením nástrojů, školením hierarchie, narušením úkolů a riziky multimodálního vstupu.

Související vodicí cestyOkamžité útoky injekcí
Otázka 1 z 8

Které selhání důvěry může zneužít pokus o okamžité vložení?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Které selhání důvěry může zneužít pokus o okamžité vložení?
    • Nepříznivé pokyny v úkolovém materiálu jsou dodržovány jako autoritativní příkazy
    • Požadavek, aby každý model zašifroval celý svůj kontext
    • Záruka, že všechny modely mají oprávnění správce
    • Požadavek, aby se každý model vždy podřídil každému zadání
  2. Jak se NEPŘÍMÁ rychlá injekce liší od přímé injekce?
    • Funguje pouze na obrazových modelech
    • Vyžaduje fyzický přístup k serveru
    • Škodlivé pokyny jsou uloženy v externím zdroji, který si model později přečte, nikoli ve vlastní zprávě uživatele
    • Provádí to vývojář záměrně
  3. Jaký cíl dostupnosti zahrnuje uvedená taxonomie nepřímého vstřikování?
    • Pouze krádež celého tréninkového korpusu při každém útoku
    • Inhibice užitečných odpovědí nebo narušení vyhledávacího úkolu
    • Pouze změna velikosti fyzické paměti GPU
    • Pouze zlepšit všechny autorizované výsledky vyhledávání
  4. Jak mohou oprávnění nástroje s nejnižšími oprávněními omezit důsledky úspěšné injekce?
    • Dokazují, že každá povolená operace je v každém kontextu neškodná
    • Zaručují, že model nikdy nenavrhne vstřikovanou akci
    • Odstraňují potřebu jakéhokoli ověřování výstupu nebo akce
    • Omezují operace a zdroje dostupné pro pracovní postup
  5. Jaké chování má studie Instrukční hierarchie trénovat?
    • Řazení všech načtených slov podle abecedy
    • Zacházení s každou webovou stránkou jako autoritativnější než vývojář
    • Dodržování privilegovaných pokynů ohledně konfliktního obsahu s nižší prioritou
    • Šifrování slovníku modelu pomocí klíče obrázku
  6. Proč se rychlá injekce stává nebezpečnější, když agenti AI získávají nástroje?
    • Oklamaný agent nyní může provádět skutečné akce, jako je odesílání e-mailů, spouštění kódu nebo únik dat
    • Agenti běží s nástroji pomaleji
    • Díky nástrojům model zapomene na svůj trénink
    • Nástroje zdvojnásobují složitost modelu
  7. Proč by mělo vyhodnocení okamžitého vložení zahrnovat obrázky, když aplikace přijímá multimodální vstup?
    • Obrázky zaručují, že všechny pokyny jsou důvěryhodné
    • Obrázek může obsahovat pouze jeden numerický skalár
    • Testování prostého textu automaticky pokryje každý obrazový vstup
    • Do obrazového kanálu lze vložit nepřátelské instrukce
  8. Proč pouhá citace instrukce k útoku nestačí ke zjištění, že aplikace byla kompromitována?
    • Každý řetězec v uvozovkách nutně mění systémová oprávnění
    • Text může být legitimním analytickým materiálem a nikdy nesmí být proveden jako instrukce
    • Útočník musí nejprve upravit všechny hmotnosti původního modelu
    • Žádný oprávněný uživatel nemůže nikdy diskutovat o bezpečnostním útoku