DalšíDalší průvodce
SWE-bench a Coding Agent Benchmarks
Technický
Technický PRŮVODCE
Hodnocení agentů umělé inteligence znamená měřit, jak dobře vícekrokový systém dosahuje cílů v realistických podmínkách.
Poslechněte si tento návodAI-vyprávěný · ~3 min
To zahrnuje, zda úkol dokončil, zda cesta, kterou se vydala, byla rozumná, zda správně používala nástroje, kolik to stálo a zda zůstalo bezpečné. Agenti jednají v mnoha krocích a mají vedlejší účinky, takže kontrola jedné odpovědi s odkazem nestačí a dobrá hodnocení obvykle spouštějí agenta v kontrolovaném prostředí a kontrolují konečný stav.
Hodnocení agentů se zaměřuje na několik věcí. Úspěšnost úkolu se ptá, zda bylo cíle skutečně dosaženo, v ideálním případě se následně zkontroluje pohledem na prostředí: testy prošly, existuje správný záznam, soubor má správný obsah. Kvalita trajektorie se ptá, zda byly kroky rozumné, bez smyček, nesmyslných volání nebo šťastných odhadů. Správnost použití nástroje kontroluje, zda agent vybral správné nástroje s platnými argumenty a ošetřil chyby. Cena a latence sledují tokeny, hovory a čas nástěnných hodin. Bezpečnost kontroluje, zda se agent vyhnul škodlivým nebo neoprávněným akcím a odolal rychlé injekci. Environmentální benchmarky se staly vedoucím přístupem. SWE-bench od výzkumníků z Princetonu žádá agenty o vyřešení skutečných problémů GitHub a kontroluje výsledky pomocí testů projektu a SWE-bench Verified je podmnožinou kontrolovanou člověkem. WebArena poskytuje webové stránky s vlastním hostitelem pro úkoly procházení. OSWorld testuje agenty provozující plné plochy počítačů. GAIA klade otázky, které vyžadují vícestupňový výzkum a nástroje. Sada tau-bench simuluje uživatele a zásady domény a zavedla metriku pass^k, která se ptá, zda agent uspěje při každém z k opakovaných pokusů. Klasifikace používá tři hlavní druhy kontrol: kontroly výsledků založené na kódu, které jsou přesné a levné; srovnávače založené na modelech, které hodnotí přepisy podle rubriky, které jsou flexibilní, ale je třeba je kontrolovat podle lidského úsudku; a lidská kontrola, která je nejdůvěryhodnější a nejpomalejší. Častou chybou je věřit pouze veřejným žebříčkům. Benchmarky mohou uniknout do tréninkových dat, nasytit se nebo nebudou připomínat vaši vlastní pracovní zátěž. Další chybou je považovat jeden běh za pravdu, protože agenti jsou nedeterminističtí a malé rozdíly v úspěšnosti mohou být šumem. Týmy získávají největší hodnotu ze sady soukromých hodnocení sestavené z jejich vlastních skutečných úkolů a selhání, které jsou opakovaně spouštěny a sledovány v průběhu času.
Tým kódovacích agentů hodnotí každý pokus podle toho, zda skryté testy úložiště projdou po opravě agenta, jako to dělá SWE-bench, místo aby posuzoval, zda rozdíl vypadá správně.
Agent zákaznických služeb běží proti simulovaným uživatelům a simulované rezervační databázi. Srovnávači kontrolují, zda konečný stav databáze odpovídá správnému výsledku a zda agent dodržoval zásady pro vrácení peněz.
Inženýrský tým spustí každý úkol pětkrát a hlásí, jak často agent uspěje ve všech pěti, což odhaluje nespolehlivé chování, které by míra úspěšnosti jediného spuštění skryla.
Společnost přidává bezpečnostní sadu, ve které úkoly zahrnují zasazenou instrukci k odstranění souborů nebo úniku dat, a počítá jinak úspěšný běh jako neúspěšný, pokud agent poslechl.
Jak agenti přebírají delší úkoly, hodnocení se posouvají směrem k delším horizontům, realističtějším prostředím a měřítkům spolehlivosti a nákladů, jakož i špičkových schopností. Nasycení a kontaminace benchmarků bude pravděpodobně nadále tlačit vývojáře k vytváření nových úloh a spoléhání se více na soukromé testovací sady specifické pro doménu. Hodnocení bezpečnosti a zabezpečení, včetně odolnosti vůči rychlé injekci, je věnováno více pozornosti, protože agenti získávají přístup ke skutečným systémům. Neexistuje žádná dohodnutá norma pro klasifikaci chování agentů s otevřeným koncem, takže kombinace kontrol výsledků, kalibrovaných modelových srovnávačů a kontroly člověkem pravděpodobně zůstane běžnou praxí.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Hodnocení agentů umělé inteligence znamená měřit, jak dobře vícekrokový systém dosahuje cílů v realistických podmínkách. To zahrnuje, zda úkol dokončil, zda cesta, kterou se vydala, byla rozumná, zda správně používala nástroje, kolik to stálo a zda zůstalo bezpečné. Agenti jednají v mnoha krocích a mají vedlejší účinky, takže kontrola jedné odpovědi s odkazem nestačí a dobrá hodnocení obvykle spouštějí agenta v kontrolovaném prostředí a kontrolují konečný stav.
Vícekrokové akce mění prostředí, takže je potřeba zkontrolovat, co se skutečně stalo a jak, nejen finální text.
Kontroly na základě prostředí, zde testy projektu, posuzují, zda oprava skutečně funguje.
Vyžadování úspěchu u všech k pokusů měří konzistenci, což je důležité pro agenty nasazené skutečným uživatelům.
Kontroly trajektorie posuzují zvolenou cestu, zachycují smyčky a plýtvají, které samotné kontroly výsledků minou.
Modelové srovnávače jsou flexibilní, ale měly by být kontrolovány lidským úsudkem a měly by být sledovány kvůli systematickým zaujatostem.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
SWE-bench a Coding Agent Benchmarks
Technický