LegközelebbKövetkező útmutató
Az OpenAPI specifikációk átalakítása LLM eszközökké
Műszaki
Műszaki ÚTMUTATÓ
Az LLM-ügynökök eszközeinek tervezése azt jelenti, hogy meg kell írni a neveket, leírásokat, paramétersémákat, kimeneteket és hibaüzeneteket, amelyeket a nyelvi modell beolvas, hogy eldöntse, melyik függvényt és hogyan hívja meg.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A modell soha nem látja a kódot, csak ezt a szöveget, így egy homályos leírás vagy egy hanyag séma ugyanolyan megbízhatóan hibás hívásokat produkál, mint egy hiba.
Az eszközdefiníció négy részből áll, amelyektől a modell függ: egy név, egy természetes nyelvű leírás, egy beviteli séma (általában JSON-séma) és az eszköz által visszaküldött szöveg. Mindegyik felszólításként működik. A modell úgy dönti el, hogy hívjon-e egy eszközt a felhasználó céljának a leírásokhoz való illesztésével, és paraméternevek, típusok, felsorolások és példák segítségével tölti ki az argumentumokat. A jó nevek konkrétak és csoportosak. Az olyan előtagok, mint a github_create_issue és a jira_create_issue, távol tartják az eszközöket, amikor egy ügynök sok szolgáltatáshoz csatlakozik. A jó leírások elmondják, hogy mit csinál az eszköz, mikor kell használni, mikor nem, és mit ad vissza, ahogyan egy új kollégát tájékoztatna. A paramétereknek meg kell mondaniuk, hogy mit jelentenek: a user_id jobb, mint az id, és a megengedett értékek száma felülmúlja azt a szabad szöveges karakterláncot, amelyet a modellnek ki kell találnia. A kimenetek ugyanolyan fontosak, mint a bemenetek. Sorok ezrei vagy nyers belső azonosítók visszaadása kitölti a kontextusablakot, és elrejti a fontos információkat. A jobb eszközök olvasható mezőket adnak vissza, alapértelmezés szerint lapoznak vagy csonkolnak, és néha tömör vagy részletes módot kínálnak. A hibaüzeneteknek közölniük kell a modellel, hogy mi hibázott, és mit próbáljon meg a következő lépésben, mert a modell elolvassa ezeket, és azokra reagál. Az egyik gyakori tévhit az, hogy több eszköz jobb ügynököt jelent. Minden definíció minden fordulóban felveszi a kontextust, és az átfedő eszközök megnehezítik a kiválasztást. A pontosság általában csökken, ahogy az eszközlista meghosszabbodik, különösen, ha az eszközök hasonlítanak egymásra. Nincs univerzális levágás. Sok gyakorló kezd látni a problémákat valahol a több tíz eszköz között, és a szokásos javítások az eszközök összevonása, igény szerinti betöltése vagy a munka megosztása speciális ügynökök között. Egy másik tévhit az, hogy az eszközöknek egy-egy meglévő API-t kell tükrözniük. Az ügynökök általában jobban teljesítenek kevesebb, magasabb szintű eszközzel, amelyek az emberek által ténylegesen elvégzett feladatok köré épülnek.
Egy támogatási ügynöknek két eszköze volt, a search_orders és a get_order. Ha átnevezzük orders_search_by_customer és orders_get_by_id, és mindegyik leírásban megmondjuk, hogy mikor használjuk a másikat, csökkenti a rossz eszközre küldött hívások számát.
Egy szabad szövegű dátummezőt tartalmazó naptáreszköz folyamatosan „jövő kedden” lett. A séma ISO 8601 szerinti dátumkarakterláncra való módosítása a leírásban található példával az elemzési hibák egész osztályát eltávolította.
Egy adatbázis-eszköz, amely korábban nyers „1064-es hibát” adott vissza, most azt adja vissza, hogy „A létrehozott_dátum oszlop nem létezik. Elérhető dátumoszlopok: Create_at, updated_at.' Az ügynök a következő próbálkozásra javítja a lekérdezést ahelyett, hogy feladná.
Egy csapat 60 majdnem ismétlődő végpont-burkolót tett közzé egy ügynöknek. Egy tucat feladatszintű eszközbe egyesítése, mint például a menetrend_meeting a külön list_users helyett, a find_free_slots és a create_event hívások, gyorsabbá és olcsóbbá tette az ügynök futtatását.
A szerszámtervezés saját tudományágává válik, a modellszolgáltatók közzétett útmutatásai és a megosztott konvenciók olyan protokollokon keresztül terjednek el, mint a Model Context Protocol. Egyes platformok mostantól igény szerint kereshetnek és tölthetnek be eszközdefiníciókat, ami csökkenti a listák rövidre állítása miatti nyomást, bár a leírásoknak továbbra is elég világosaknak kell lenniük ahhoz, hogy megtalálják és kiválaszthassák. A modelleket az értékelési átiratok alapján az eszközleírások bírálatára és újraírására is használják. Az alapszabály valószínűleg nem fog változni: a modell csak olyan eszközt tud használni, amennyire a kezelőfelülete elmagyarázza, így központi marad az egyértelmű elnevezés, a szigorú sémák és a hasznos hibák.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az LLM-ügynökök eszközeinek tervezése azt jelenti, hogy meg kell írni a neveket, leírásokat, paramétersémákat, kimeneteket és hibaüzeneteket, amelyeket a nyelvi modell beolvas, hogy eldöntse, melyik függvényt és hogyan hívja meg. A modell soha nem látja a kódot, csak ezt a szöveget, így egy homályos leírás vagy egy hanyag séma ugyanolyan megbízhatóan hibás hívásokat produkál, mint egy hiba.
A modell soha nem látja a megvalósítást. Csak a szöveges felületről működik: a név, a leírás, a beviteli séma és bármi, amit az eszköz visszaküld.
A névtér megmondja a modellnek, hogy egy eszköz melyik szolgáltatáshoz tartozik. Ez akkor számít, ha több szolgáltatás hasonló műveleteket kínál.
A felsorolások és a leíró nevek megszüntetik a találgatásokat. A modell a formátum kitalálása helyett az érvényes lehetőségek közül választ.
A modell kiolvassa a hibát, és eldönti, mit tegyen a továbbiakban. Egy üzenet, amely megnevezi a problémát és a javítást, lehetővé teszi a helyreállítást a következő hívás során.
Minden definíció elküldésre kerül minden kéréssel, amely kontextust használ. A hasonló megjelenésű eszközök megnehezítik a modell kiválasztását is.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Az OpenAPI specifikációk átalakítása LLM eszközökké
Műszaki