DalšíDalší průvodce
Navrhování nástrojů pro LLM agenty
Technický
Technický PRŮVODCE
Sandbox pro provádění kódu je izolované prostředí, kde agent AI může spouštět kód, který zapisuje, aniž by mohl poškodit hostitelský stroj, získat data, která by neměl vidět, nebo využívat neomezené zdroje.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Záleží na tom, protože agent, který dokáže spouštět kód, je mnohem schopnější (může počítat, analyzovat soubory a testovat svou vlastní práci), ale modelem napsaný kód je ve výchozím nastavení nedůvěryhodný a může být chybný, plýtvat nebo manipulovat rychlým vložením.
Když agent generuje kód, něco ho musí spustit. Spuštění tohoto kódu přímo na vývojářském notebooku nebo produkčním serveru je riskantní: kód by mohl smazat soubory, číst přihlašovací údaje z proměnných prostředí, instalovat software, těžit kryptoměnu nebo otevřít síťová připojení. Sandbox vytváří hranici mezi kódem a vším ostatním. Existuje několik vrstev izolace s různými kompromisy. Standardní kontejnery (například Docker) používají linuxové jmenné prostory a cgroups, aby poskytly kódu vlastní pohled na procesy, soubory a síť a omezily CPU a paměť. Spouštějí se rychle, ale každý kontejner sdílí jádro hostitele, takže zranitelnost jádra může kód uniknout. gVisor, open-source projekt od Google, přidává jádro pro uživatelský prostor, které zachycuje systémová volání a zmenšuje to, čeho se může nedůvěryhodný kód dotknout skutečného jádra. MicroVM, jako je Firecracker, původně vytvořený AWS pro Lambda a Fargate, dávají každé pracovní zátěži vlastní odlehčený virtuální stroj a jádro, zatímco se stále spouštějí ve zlomku sekundy. Hostované služby sandbox pro agenty, jako je E2B, staví na tomto přístupu microVM. Na nejlehčím konci mohou běhové moduly WebAssembly a nástroje jako Pyodide spouštět Python v prohlížeči nebo v sandboxu Wasm bez přímého přístupu k systému. Izolační technologie je pouze polovinou designu. Dobré karantény také omezují síť (často jsou standardně zakázány pomocí seznamu povolených), připojují souborový systém pouze pro čtení s výjimkou adresáře scratch, zcela udržují tajemství mimo prostředí a vynucují omezení času, paměti, počtu procesů a disků. Obvykle jsou pomíjivé: vytvořené podle úkolu a zničené poté. Obvyklá mylná představa je, že sandbox dělá agenta bezpečným. Omezuje poškození způsobené samotným kódem, ale nezabrání agentovi v produkování nesprávných odpovědí a jakýkoli nástroj nebo pověření, které předáte do karantény, se stanou dostupnými pro jakýkoli kód, který tam běží, včetně kódu napsaného v reakci na vložené instrukce.
Asistent analýzy dat obdrží nahraný soubor CSV, zapíše kód pandas, aby jej vyčistil a vykreslil trendy, a spustí tento kód v jednorázové karanténě, která se po skončení relace odstraní.
Kódovací agent spouští testovací sadu úložiště uvnitř kontejneru bez odchozího síťového přístupu, takže škodlivý skript závislosti nemůže odesílat zdrojový kód nebo tajemství na externí server.
Vzdělávací platforma umožňuje studentům požádat učitele umělé inteligence, aby spustil příklady Python, přičemž každé spuštění je omezeno na několik sekund CPU a pevný limit paměti, takže náhodná nekonečná smyčka nemůže zastavit službu.
Výzkumný tým dá agentovi microVM s kopií datové sady pouze pro čtení a jedinou zapisovatelnou výstupní složkou, takže agent může vytvářet výsledky bez úpravy nebo mazání původních dat.
Spouštění kódu se stává standardní schopností pro asistenty a agenty AI, takže sandboxing se pravděpodobně stane spíše komoditní službou s rozumnými výchozími nastaveními než něčím, co si každý tým vytvoří od nuly. Očekávejte pokračující práci na rychlejším spouštění, pořizování snímků a obnovení a jemnějších zásadách pro přístup k síti a souborům, které lze upravit podle úlohy. Těžším otevřeným problémem je spíše politika než izolace: rozhodování o tom, co by agent měl mít povoleno dosáhnout, a informování uživatelů, když agenti provádějí delší autonomní akce. Izolace zůstane jednou vrstvou z několika, vedle oprávnění, protokolování a kontroly člověkem.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Sandbox pro provádění kódu je izolované prostředí, kde agent AI může spouštět kód, který zapisuje, aniž by mohl poškodit hostitelský stroj, získat data, která by neměl vidět, nebo využívat neomezené zdroje. Záleží na tom, protože agent, který dokáže spouštět kód, je mnohem schopnější (může počítat, analyzovat soubory a testovat svou vlastní práci), ale modelem napsaný kód je ve výchozím nastavení nedůvěryhodný a může být chybný, plýtvat nebo manipulovat rychlým vložením.
Příručka vysvětluje, že modelem napsaný kód může obsahovat chyby, spotřebovávat nadbytečné zdroje nebo se řídit vloženými instrukcemi, takže by měl běžet uvnitř hranice spíše než přímo na hostiteli.
Kontejnery používají jmenné prostory a skupiny cgroups, ale všechny sdílejí hostitelské jádro, takže zranitelnost jádra může umožnit únik. MicroVM dávají každé pracovní zátěži vlastní jádro.
gVisor od Google provozuje jádro v uživatelském prostoru, které zpracovává systémová volání, čímž snižuje, kolik skutečného hostitelského jádra může dosáhnout nedůvěryhodný kód.
Firecracker byl vytvořen pro bezserverové úlohy AWS, jako jsou Lambda a Fargate, kde se musí rychle spustit mnoho izolovaných úloh.
Pokud vložené instrukce způsobí, že agent zapíše škodlivý kód, síť typu deny-by-default zastaví tento kód v exfiltraci dat.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Navrhování nástrojů pro LLM agenty
Technický