DalšíDalší průvodce
Sandboxy spouštění kódu pro agenty
Technický
Technický PRŮVODCE
Svazek agentů, neboli lešení, je kód kolem jazykového modelu, který z něj dělá agenta: spouští smyčku volání modelu, vykonávání nástrojů, které požaduje, dodává výsledky zpět a rozhoduje, kdy přestat.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Záleží na tom, protože svazek silně utváří výsledky, takže stejný model může dosáhnout velmi rozdílného skóre ve stejném benchmarku v závislosti na tom, jak jsou navrženy jeho nástroje, kontext a řešení chyb.
Jazykový model sám o sobě vytváří text. Agent potřebuje program, který se modelu opakovaně ptá, co má dělat, provádí akci a ukazuje modelu, co se stalo. Tím programem je postroj. Jeho hlavními částmi jsou smyčka, definice nástrojů, odeslání nástroje, správa kontextu, pravidla zastavení a zpracování chyb. Smyčka odešle konverzaci tak daleko k modelu. Pokud model požaduje nástroj, svazek ověří argumenty, spustí nástroj a připojí výsledek. Pokud model dá konečnou odpověď, smyčka končí. Pravidla zastavení přidávají limity: maximální počet kroků, token nebo rozpočet nákladů, časový limit nebo kontrola, jako je úspěšné složení testů. Design nástroje má velké efekty. Projekt SWE-agent od výzkumníků z Princetonu, zveřejněný v roce 2024, tvrdil, že agenti potřebují rozhraní agent-počítač navržené pro modely, se stručnými prohlížeči souborů, příkazy pro vyhledávání a okamžitou zpětnou vazbou o špatných úpravách, a ukázal, že tyto lepší výsledky oproti tomu, aby model získal prostý shell. Na formátování výstupu záleží také: zkrácení velkých výstupů, jasné shrnutí chyb a vracení strukturovaných výsledků pomáhá modelu správně fungovat. Kontextová správa rozhoduje o tom, co model vidí s rostoucí historií: uchovávání posledních kroků, shrnutí starších nebo ukládání poznámek do souborů. Zpracování chyb rozhoduje, zda neúspěšné volání nástroje zhroutí běh nebo se vrátí do modelu jako informace, na kterou může reagovat. To je důvod, proč referenční čísla potřebují kontext. Na srovnávacích testech kódování, jako je SWE-bench, se hlášená skóre pro jeden model liší podle skafoldů, zásad opakování a limitů kroků. Obvyklá mylná představa je, že číslo ve výsledkové tabulce měří samotný model; měří model plus nastavení postroje. Produkty, jako jsou kódovací agenti příkazového řádku, jsou z velké části pečlivě navrženými svazky kolem modelu.
Svazek kódovacího agenta umožňuje modelovým nástrojům prohlížet soubory, upravovat konkrétní rozsahy řádků a spouštět testy, pak smyčky, dokud testy neprojdou nebo není dosaženo limitu kroku.
Kabelový svazek výzkumného asistenta zastaví smyčku po 20 voláních nástrojů a požádá model o shrnutí se zdroji, čímž se zabrání nekontrolovaným nákladům.
Tým nahradí nezpracovaný nástroj shellu editorem souborů, který zobrazuje krátké okno řádků a okamžitě hlásí chyby syntaxe a úspěšnost jejich agentů u interních úkolů se zlepšuje beze změny modelu.
Postroj zákaznického operátora zachytí jakékoli volání nástroje pro vrácení peněz nad stanovenou částku a před provedením se pozastaví na schválení člověkem.
Poskytovatelé modelů stále častěji dodávají své vlastní produkty agentů a sady pro vývoj softwaru, což standardizuje některé vzory svazků, jako jsou schémata nástrojů, oprávnění a komprimace kontextu. Protokoly pro připojení nástrojů k modelům, jako je Model Context Protocol, činí integraci nástrojů znovu použitelnější. Návrh svazku pravděpodobně zůstane významným zdrojem výkonnostních rozdílů a hodnocení se posouvají k vykazování lešení vedle modelu. Pro stavitele bude důležitý pečlivý design nástrojů, jasná pravidla pro zastavení a dobrá těžba dřeva bez ohledu na to, který model je pod ním.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Svazek agentů, neboli lešení, je kód kolem jazykového modelu, který z něj dělá agenta: spouští smyčku volání modelu, vykonávání nástrojů, které požaduje, dodává výsledky zpět a rozhoduje, kdy přestat. Záleží na tom, protože svazek silně utváří výsledky, takže stejný model může dosáhnout velmi rozdílného skóre ve stejném benchmarku v závislosti na tom, jak jsou navrženy jeho nástroje, kontext a řešení chyb.
Postroj je okolní program, který mění model generující text na agenta.
Pravidla zastavení ukončují smyčku na základě limitů, jako jsou počty kroků, rozpočty, časové limity nebo kontroly úspěšnosti.
SWE-agent tvrdil, že nástroje navržené pro modely zlepšují výsledky oproti prostému shellu.
Skóre benchmarku měří celý systém, nikoli samotný model.
Vrácení vylučitelných chyb umožňuje modelu opravit svůj přístup namísto ukončení běhu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Sandboxy spouštění kódu pro agenty
Technický