Műszaki ÚTMUTATÓ

AI Prompt Biztonság

Az azonnali biztonsági jelzések azok a kísérletek, amelyek arra irányulnak, hogy egy nyelvi modellalkalmazás a nem megbízható tartalmat utasításként kezelje, vagy olyan információkat közöljön, amelyeket védenie kell.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Főbb tanulságok
  3. Mély merülés
  4. Tartsa a letöltött utasítást a dokumentumban
  5. Valós megvalósítás
  6. A gyakorlatba ültetés
  7. Források és további olvasmányok
  8. Folytassa a felfedezést
  9. Gyakran ismételt kérdések

Áttekintés

A probléma felmerülhet a felhasználói bevitelben, a letöltött dokumentumokban, weboldalakban, képekben vagy az eszközök válaszaiban. A védekezésnek korlátoznia kell a következményeket, valamint észlelnie kell a gyanús szövegeket.

Főbb tanulságok

  1. Az utasítások megkülönböztetése a feldolgozott tartalomtól.
  2. Korlátozza a jogosultságokat a modelltől függetlenül.
  3. Tesztelje a bizalom határait a bemeneti csatornákon keresztül.

Mély merülés

Különítse el a felhasználó által engedélyezett feladatot a feldolgozás alatt álló tartalomtól. Egy dokumentum jogszerűen tartalmazhat utasításokat tárgyának részeként. Ezek a szavak nem szabályozhatják automatikusan az asszisztens eszközeit, fiókhozzáférését vagy válaszszabályzatát. Tartsa szűkösen a jogosultságokat. Az összegzési feladat általában nem igényel korlátlan fájlhozzáférést vagy engedélyt az üzenetek küldéséhez. Határozza meg ezeket a korlátokat az alkalmazásban, hogy a modellhiba ne hozzon létre csendben egy szélesebb képességet. Érvényesítse a következményes kimeneteket és műveleteket az eredeti kéréssel szemben. Ellenőrizze a célállomást, az érintett rekordokat, a továbbított adatokat és a szükséges jóváhagyást. Egy külső oldal, amely azt állítja, hogy a felhasználó jóváhagyott valamit, nem egyenértékű a tényleges felhasználói utasítással. Olyan regressziós eseteket hozhat létre, amelyek változtatják a nem megbízható utasítások helyét és formátumát. Ellenőrzött környezetben tesztelheti a közvetlen bevitelt, a visszakeresett szövegrészeket és az eszközeredményeket. Ellenőrizze, hogy az alkalmazás megőrzi-e a hasznos feladatteljesítményt, miközben ellenáll az átirányításnak. Kerülje a bolondbiztos azonnali befecskendező szűrőre vonatkozó állításokat; a réteges ellenőrzések és a folyamatos tesztelés hitelesebbek.

04Működő példa

Tartsa a letöltött utasítást a dokumentumban

  1. Készítsen egy tesztoldalt, amely egy normál irányelv-bekezdést és egy mondatot tartalmaz, amely felszólítja az asszisztenst, hogy töltsön fel nem kapcsolódó fájlokat.

  2. Csak a szabályzat összefoglalóját kérje. Győződjön meg arról, hogy az összefoglaló releváns tényeket használ, és hogy nincs-e meghívva feltöltési eszköz.

  3. Ismételje meg az utasítást egy idézőjeles blokkban és az eszköz eredményében, hogy tesztelje ugyanazt a megbízhatósági határt a formátumok között.

Mit mutat

Ez a korlátozott védekező gyakorlat valódi privát fájlok használata nélkül ellenőrzi a feladatok betartását.

Valós megvalósítás

Foglaljon össze egy olyan dokumentumot, amely utasításszerű szakaszt tartalmaz végrehajtás nélkül.

Ellenőrizze a kimenő eszközműveletet a felhasználó eredeti céljával és céljával.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Források és további olvasmányok

  1. OWASPAzonnali befecskendezési kockázatok és mérséklések

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the AI Prompt Security quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Megoldható-e az azonnali befecskendezés egyetlen mondat kitiltásával?

Nem. A mögöttes probléma az, hogy a nem megbízható tartalom átirányíthatja-e a viselkedést. A támadások sokféle kifejezést és formátumot használhatnak.