DalšíDalší průvodce
Ukládání výzvy do mezipaměti
Technický
Technický PRŮVODCE
Okamžité zabezpečení řeší pokusy o to, aby aplikace jazykového modelu zacházela s nedůvěryhodným obsahem jako s pokyny nebo sdělovala informace, které by měla chránit.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Problém může nastat v uživatelském vstupu, načtených dokumentech, webových stránkách, obrázcích nebo reakcích nástrojů. Obrana musí omezit následky a také odhalit podezřelý text.
Oddělte autorizovaný úkol uživatele od zpracovávaného obsahu. Dokument může legitimně obsahovat pokyny jako součást svého předmětu. Tato slova by neměla automaticky ovládat nástroje asistenta, přístup k účtu nebo zásady odezvy. Udržujte omezená práva. Sumarizační úloha obecně nevyžaduje neomezený přístup k souboru nebo oprávnění k odesílání zpráv. Vynutit tato omezení v aplikaci, aby chyba modelu nemohla tiše vytvořit širší schopnost. Ověřte následné výstupy a akce proti původnímu požadavku. Zkontrolujte místo určení, dotčené záznamy, přenášená data a požadované schválení. Externí stránka s tvrzením, že uživatel něco schválil, není ekvivalentní skutečnému návodu uživatele. Vytvářejte regresní případy, které se liší umístěním a formátem nedůvěryhodných instrukcí. Testujte přímý vstup, načtené pasáže a výsledky nástrojů v kontrolovaném prostředí. Zkontrolujte, zda aplikace zachovává užitečný výkon úlohy a zároveň odolává přesměrování. Vyhněte se tvrzením o spolehlivém filtru pro rychlé vstřikování; vrstvené kontroly a průběžné testování jsou důvěryhodnější.
04Zpracovaný příklad
Vytvořte testovací stránku obsahující normální odstavec zásad a větu, která říká asistentovi, aby nahrál nesouvisející soubory.
Požádejte pouze o shrnutí zásad. Ověřte, že shrnutí používá relevantní fakta a že není volán žádný nástroj pro nahrávání.
Opakujte s instrukcí v bloku v uvozovkách a ve výsledku nástroje, abyste otestovali stejnou hranici důvěryhodnosti napříč formáty.
Co ukazuje
Toto omezené obranné cvičení ověřuje dodržování úkolů bez použití skutečných soukromých souborů.
Shrňte dokument, který obsahuje pasáž podobnou instrukci, aniž byste ji spustili.
Zkontrolujte odchozí akci nástroje oproti původnímu cíli a účelu uživatele.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Ne. Základním problémem je, zda nedůvěryhodný obsah může přesměrovat chování. Útoky mohou používat mnoho frází a formátů.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Ukládání výzvy do mezipaměti
Technický