Műszaki ÚTMUTATÓ

Ügynökállványok és hevederek

Az ügynökhám vagy állvány egy nyelvi modellt körülvevő kód, amely ügynökké alakítja azt: lefuttatja a modell meghívásának ciklusát, végrehajtja a kért eszközöket, visszaadja az eredményeket, és eldönti, mikor kell abbahagyni.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az ügynökállványok és hevederek jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert a kábelköteg erősen alakítja az eredményeket, így ugyanaz a modell nagyon eltérő pontszámot érhet el ugyanazon a benchmarkon, attól függően, hogy eszközei, kontextusa és hibakezelése hogyan lett kialakítva.

Mély merülés

A nyelvi modell önmagában is szöveget hoz létre. Az ügynöknek olyan programra van szüksége, amely többször megkérdezi a modellt, hogy mit tegyen, végrehajtja a műveletet, és megmutatja a modellnek, hogy mi történt. Ez a program a hám. Alapvető részei a hurok, az eszközdefiníciók, az eszközküldés, a kontextuskezelés, a leállítási szabályok és a hibakezelés. A ciklus elküldi az eddigi beszélgetést a modellnek. Ha a modell eszközt kér, a kábelköteg érvényesíti az argumentumokat, futtatja az eszközt, és hozzáfűzi az eredményt. Ha a modell végső választ ad, a ciklus véget ér. A leállítási szabályok korlátokat adnak: lépések maximális száma, token vagy költségkeret, időtúllépés vagy ellenőrzés, például a tesztek sikeressége. A szerszámtervezésnek nagy hatásai vannak. A Princeton kutatói által 2024-ben közzétett SWE-agent projekt azzal érvelt, hogy az ügynököknek modellekhez tervezett ügynök-számítógép interfészre van szükségük, tömör fájlnézegetőkkel, keresési parancsokkal és azonnali visszajelzéssel a rossz szerkesztések esetén, és ez jobb eredményeket mutatott, mint ha a modellnek egy egyszerű héjat adnának. A kimenet formázása is számít: a hatalmas kimenetek csonkolása, a hibák egyértelmű összegzése és a strukturált eredmények visszaadása segíti a modell helyes működését. A kontextuskezelés dönti el, hogy a modell mit lát az előzmények növekedésével: a legutóbbi lépések megtartását, a régebbiek összefoglalását vagy a jegyzetek fájlokban való tárolását. A hibakezelés eldönti, hogy a sikertelen eszközhívás összeomlik-e a futásban, vagy visszakerül-e a modellhez, mint információ, amelyre reagálni tud. Ez az oka annak, hogy a benchmark számoknak kontextusra van szükségük. A kódolási benchmarkokon, mint például az SWE-bench, az egyes modellek jelentett pontszámai állványonként, újrapróbálkozási szabályzatonként és lépéshatáronként eltérőek. Gyakori tévhit, hogy a ranglista száma önmagában méri a modellt; méri a modell plusz kábelköteg plusz beállításokat. Az olyan termékek, mint a parancssori kódoló ügynökök, nagyrészt gondosan megtervezett kábelkötegek egy modell körül.

Valós megvalósítás

A kódoló ügynök kábelkötege a fájlok megtekintésére, meghatározott sortartományok szerkesztésére és tesztek futtatására ad a modelleszközöket, majd ciklusokat hajt végre, amíg a tesztek el nem mennek, vagy el nem érik a lépéshatárt.

A kutatóasszisztens kábelköteg 20 eszközhívás után leállítja a hurkot, és a modelltől összefoglalót kér a forrásokkal, megelőzve ezzel az elszabadult költségeket.

Egy csapat a nyers shell eszközt lecseréli egy fájlszerkesztőre, amely egy rövid sorablakot jelenít meg, és azonnal jelenti a szintaktikai hibákat, és az ügynökük sikerességi aránya a belső feladatoknál a modell megváltoztatása nélkül javul.

Az ügyfélműveleti ügynök kábelkötege elfog minden visszatérítési eszköz hívást egy beállított összeg felett, és emberi jóváhagyásra szünetel, mielőtt végrehajtaná.

Az ügynökállványok és hevederek jövője

A modellszolgáltatók egyre gyakrabban szállítják saját ügynöki termékeiket és szoftverfejlesztői készleteiket, amelyek szabványosítanak bizonyos kábelezési mintákat, például az eszközsémákat, az engedélyeket és a kontextustömörítést. Az eszközök modellekhez való csatlakoztatására szolgáló protokollok, mint például a Model Context Protocol, újrafelhasználhatóbbá teszik az eszközök integrációját. A kábelköteg-tervezés valószínűleg továbbra is jelentős forrása marad a teljesítménybeli különbségeknek, és az értékelések a modell mellett az állványzat jelentésének irányába mozdulnak el. Az építők számára a gondos szerszámtervezés, az egyértelmű leállítási szabályok és a jó naplózás továbbra is számít, függetlenül attól, hogy melyik modell van alatta.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Agent Scaffolding and Harnesses quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az az ügynök állványzat és heveder?

Az ügynökhám vagy állvány egy nyelvi modellt körülvevő kód, amely ügynökké alakítja azt: lefuttatja a modell meghívásának ciklusát, végrehajtja a kért eszközöket, visszaadja az eredményeket, és eldönti, mikor kell abbahagyni. Ez azért fontos, mert a kábelköteg erősen alakítja az eredményeket, így ugyanaz a modell nagyon eltérő pontszámot érhet el ugyanazon a benchmarkon, attól függően, hogy eszközei, kontextusa és hibakezelése hogyan lett kialakítva.

Mi az az ügynököv?

A kábelköteg az a környező program, amely a szöveggeneráló modellt ügynökké alakítja.

Melyik a példa a leállítási szabályra?

A leállítási szabályok olyan korlátok alapján zárják le a ciklust, mint a lépésszámok, a költségvetések, az időtúllépések vagy a sikerellenőrzések.

Mire helyezte a hangsúlyt az SWE-ügynök projekt?

Az SWE-agent azzal érvelt, hogy a modellekhez tervezett eszközök javítják az eredményeket egy sima héjhoz képest.

Miért tud ugyanaz a modell eltérő pontszámot elérni az SWE-bench különböző jelentésekben?

A benchmark pontszám az egész rendszert méri, nem egyedül a modellt.

Általában hogyan kezelje a kábelköteg egy hibás szerszámhívást?

A végrehajtható hibák visszatérése lehetővé teszi a modell számára, hogy a futás befejezése helyett kijavítsa a megközelítését.