DalšíDalší průvodce
Vzor Dual-LLM proti rychlému vstřikování
Technický
PRŮVODCE společností
Prompt injection se pokouší přesměrovat aplikaci AI prostřednictvím nepřátelských instrukcí v jejích vstupech nebo načteném materiálu.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Rizika závisí na tom, jak aplikace zachází s důvěrou, dostupnými nástroji a výstupy; ne každý model se řídí každou instrukcí.
Aplikace AI může kromě materiálu, který má analyzovat, obdržet pokyny k úkolům s vyšší prioritou. Rychlá injekce využívá selhání k udržení tohoto rozlišení a pokouší se přimět aplikaci, aby se řídila pokyny protivníka namísto autorizovaného úkolu. Přímé útoky přicházejí v dodaném nepřátelském vstupu; nepřímé útoky jsou umístěny v externím materiálu, který systém později získá nebo přečte. Citovaná studie nepřímého vstřikování demonstruje útoky proti konkrétním aplikacím integrovaným do LLM a rozvíjí taxonomii cílů a metod poskytování. Některé útoky mohou způsobit manipulaci s odpověďmi, únik informací nebo neoprávněné akce, když má aplikace příslušný přístup. Jiné se zaměřují na dostupnost, jako je potlačení užitečných odpovědí nebo narušení vyhledávacího úkolu. Chyba odezvy pouze modelu a provedená akce nástroje mají různé důsledky. Ovládací prvky aplikace jsou proto důležité vedle chování modelu. Pokyny OWASP zahrnují definování očekávaného chování, oddělení externího obsahu, omezení oprávnění a ověřování výstupů a akcí. Samotné okamžité zřeknutí se odpovědnosti nepředstavuje úplnou bezpečnostní hranici, ale ani každé selhání není nevyhnutelné, protože transformátor vyžaduje pozornost. Výzkum Hierarchie instrukcí explicitně studuje modely školení, aby upřednostňoval privilegované pokyny a ignoroval konfliktní obsah s nižší prioritou. Jeho hodnocené zlepšení robustnosti je výsledkem výzkumu, nikoli důkazem, že každý útok je blokován. OWASP také popisuje multimodální injekci, včetně protichůdných instrukcí vložených do obrázků. Při hodnocení pouze prostého textu by tento vstupní kanál chyběl. Aplikace by měla identifikovat vstupy a schopnosti, které skutečně podporuje, a měřit jak odolnost proti útokům, tak to, zda jsou legitimní analytické úlohy nadále použitelné.
Autorizovaný test vloží pokyn do načteného dokumentu a zkontroluje, zda je úloha přesměrována.
Bezpečnostní experiment porovnává přímý vstup protivníka s nepřímým útokem s načteným obsahem.
Test nástroje v izolovaném prostoru měří, zda navrhované akce zůstávají v rámci povolených oprávnění.
Multimodální test kontroluje instrukce vložené do obrázku i běžný text.
Bezpečnostní testy mohou kombinovat reprezentativní nepřímý obsah, přímé nepřátelské požadavky a podporované multimodální vstupy při zachování jasné autorizované úlohy. Měli by měřit důsledky úspěšných útoků, blokovanou legitimní práci a ochrany vynucené mimo model. Školení instrukcí a obsah aplikace lze porovnat s uvedenými oprávněními pro přístup a nástroje. Nové demonstrace útoků potřebují své vlastní důkazy, spíše než aby byly zobecňovány na každého asistenta. Užitečný systémový design jasně ukazuje, který materiál poskytuje důkazy, kdo schvaluje akce a kde se kontrolují omezení předtím, než tyto akce ovlivní externí zdroje.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Prompt injection se pokouší přesměrovat aplikaci AI prostřednictvím nepřátelských instrukcí v jejích vstupech nebo načteném materiálu. Rizika závisí na tom, jak aplikace zachází s důvěrou, dostupnými nástroji a výstupy; ne každý model se řídí každou instrukcí.
Útok se pokouší přesměrovat chování přes hranici důvěryhodnosti; úspěch závisí na aplikaci a modelu.
Nepřímá injekce zasadí škodlivý text do webových stránek, e-mailů nebo dokumentů, které AI přijímá, a spustí útok, aniž by uživatel zadal něco škodlivého.
Útoky na dostupnost mohou narušit užitečnost úlohy, aniž by nutně extrahovaly data.
Hranice externích oprávnění omezují schopnosti, ale povolené akce stále vyžadují kontroly odpovídající kontextu.
Článek studuje upřednostňování a ignorování konfliktů s nižšími privilegii; testovaná robustnost není univerzální imunitou.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Vzor Dual-LLM proti rychlému vstřikování
Technický