Technický PRŮVODCE

Agent Lešení a postroje

Svazek agentů, neboli lešení, je kód kolem jazykového modelu, který z něj dělá agenta: spouští smyčku volání modelu, vykonávání nástrojů, které požaduje, dodává výsledky zpět a rozhoduje, kdy přestat.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce3 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost agentského lešení a postrojů
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Záleží na tom, protože svazek silně utváří výsledky, takže stejný model může dosáhnout velmi rozdílného skóre ve stejném benchmarku v závislosti na tom, jak jsou navrženy jeho nástroje, kontext a řešení chyb.

Hluboký ponor

Jazykový model sám o sobě vytváří text. Agent potřebuje program, který se modelu opakovaně ptá, co má dělat, provádí akci a ukazuje modelu, co se stalo. Tím programem je postroj. Jeho hlavními částmi jsou smyčka, definice nástrojů, odeslání nástroje, správa kontextu, pravidla zastavení a zpracování chyb. Smyčka odešle konverzaci tak daleko k modelu. Pokud model požaduje nástroj, svazek ověří argumenty, spustí nástroj a připojí výsledek. Pokud model dá konečnou odpověď, smyčka končí. Pravidla zastavení přidávají limity: maximální počet kroků, token nebo rozpočet nákladů, časový limit nebo kontrola, jako je úspěšné složení testů. Design nástroje má velké efekty. Projekt SWE-agent od výzkumníků z Princetonu, zveřejněný v roce 2024, tvrdil, že agenti potřebují rozhraní agent-počítač navržené pro modely, se stručnými prohlížeči souborů, příkazy pro vyhledávání a okamžitou zpětnou vazbou o špatných úpravách, a ukázal, že tyto lepší výsledky oproti tomu, aby model získal prostý shell. Na formátování výstupu záleží také: zkrácení velkých výstupů, jasné shrnutí chyb a vracení strukturovaných výsledků pomáhá modelu správně fungovat. Kontextová správa rozhoduje o tom, co model vidí s rostoucí historií: uchovávání posledních kroků, shrnutí starších nebo ukládání poznámek do souborů. Zpracování chyb rozhoduje, zda neúspěšné volání nástroje zhroutí běh nebo se vrátí do modelu jako informace, na kterou může reagovat. To je důvod, proč referenční čísla potřebují kontext. Na srovnávacích testech kódování, jako je SWE-bench, se hlášená skóre pro jeden model liší podle skafoldů, zásad opakování a limitů kroků. Obvyklá mylná představa je, že číslo ve výsledkové tabulce měří samotný model; měří model plus nastavení postroje. Produkty, jako jsou kódovací agenti příkazového řádku, jsou z velké části pečlivě navrženými svazky kolem modelu.

Real-World Implementace

Svazek kódovacího agenta umožňuje modelovým nástrojům prohlížet soubory, upravovat konkrétní rozsahy řádků a spouštět testy, pak smyčky, dokud testy neprojdou nebo není dosaženo limitu kroku.

Kabelový svazek výzkumného asistenta zastaví smyčku po 20 voláních nástrojů a požádá model o shrnutí se zdroji, čímž se zabrání nekontrolovaným nákladům.

Tým nahradí nezpracovaný nástroj shellu editorem souborů, který zobrazuje krátké okno řádků a okamžitě hlásí chyby syntaxe a úspěšnost jejich agentů u interních úkolů se zlepšuje beze změny modelu.

Postroj zákaznického operátora zachytí jakékoli volání nástroje pro vrácení peněz nad stanovenou částku a před provedením se pozastaví na schválení člověkem.

Budoucnost agentského lešení a postrojů

Poskytovatelé modelů stále častěji dodávají své vlastní produkty agentů a sady pro vývoj softwaru, což standardizuje některé vzory svazků, jako jsou schémata nástrojů, oprávnění a komprimace kontextu. Protokoly pro připojení nástrojů k modelům, jako je Model Context Protocol, činí integraci nástrojů znovu použitelnější. Návrh svazku pravděpodobně zůstane významným zdrojem výkonnostních rozdílů a hodnocení se posouvají k vykazování lešení vedle modelu. Pro stavitele bude důležitý pečlivý design nástrojů, jasná pravidla pro zastavení a dobrá těžba dřeva bez ohledu na to, který model je pod ním.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Projděte si kvíz Agent Scaffolding and Harnesses

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je Agent Lešení a postroje?

Svazek agentů, neboli lešení, je kód kolem jazykového modelu, který z něj dělá agenta: spouští smyčku volání modelu, vykonávání nástrojů, které požaduje, dodává výsledky zpět a rozhoduje, kdy přestat. Záleží na tom, protože svazek silně utváří výsledky, takže stejný model může dosáhnout velmi rozdílného skóre ve stejném benchmarku v závislosti na tom, jak jsou navrženy jeho nástroje, kontext a řešení chyb.

Co je to postroj agenta?

Postroj je okolní program, který mění model generující text na agenta.

Jaký je příklad pravidla zastavení?

Pravidla zastavení ukončují smyčku na základě limitů, jako jsou počty kroků, rozpočty, časové limity nebo kontroly úspěšnosti.

Na co projekt SWE-agent kladl důraz?

SWE-agent tvrdil, že nástroje navržené pro modely zlepšují výsledky oproti prostému shellu.

Proč může stejný model skórovat různě na SWE-bench v různých přehledech?

Skóre benchmarku měří celý systém, nikoli samotný model.

Jak by měl postroj obvykle zvládnout neúspěšné přivolání nástroje?

Vrácení vylučitelných chyb umožňuje modelu opravit svůj přístup namísto ukončení běhu.