LegközelebbKövetkező útmutató
LLM Eval Frameworks: Promptfoo and DeepEval
Műszaki
Műszaki ÚTMUTATÓ
Az LLM eval adatkészlet valósághű bemenetek válogatott készlete, amelyek mindegyike arany válaszokkal, referenciatényekkel vagy osztályozási rubrikával párosul, és amelyek alapján futtatja az alkalmazást a minőség mérésére és a regressziók rögzítésére.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez azért fontos, mert a felszólítás, a modell vagy a visszakeresés megváltoztatása javíthatja az egyik viselkedést, miközben megszakít egy másikat. Rögzített tesztkészlet nélkül a csapatok végül néhány kézzel válogatott példa alapján ítélik meg a változásokat.
Kezdje a valódi használattal. A naplók, a támogatási jegyek, a keresési lekérdezések és a felhasználói interjúk megmutatják, hogy az emberek valójában mit kérdeznek, beleértve azt a zűrzavaros megfogalmazást is, amelyről a kitalált példák hiányoznak. Indítás előtt kérje meg a domain szakértőit, hogy írjanak be adatokat. Hozzáadhat egy LLM által generált szintetikus tokot, amíg egy személy áttekinti azokat, és eltávolítja az irreális vagy ismétlődő elemeket. Ezután határozza meg, hogy minden esetben mit jelent a helyes. Néhány feladatnak egyetlen helyes válasza van, például osztályozás, kinyerés vagy ténykeresés. Ezekre tároljunk egy pontosan vagy fénynormalizálás után összehasonlítható arany választ. Nyílt végű feladatok esetén írjon egy rubrikát konkrét, ellenőrizhető kritériumokból, például „megemlíti a visszatérítési határidőt” vagy „nem ajánl versenyzőt”. Az olyan homályos kritériumok, mint a „hasznos”, következetlen minősítéshez vezetnek, függetlenül attól, hogy az osztályozó személy vagy bírói modell. Ezután szándékosan fedje le a valódi bemenetek tartományát. Jelölje meg az eseteket szándék, nehézség, nyelv és felhasználói típus szerint, és ellenőrizze, hogy a fontos csoportok képviselve vannak-e. Adjon hozzá szélső eseteket és kontradiktórius bemeneteket: - kétértelmű kérdések - hiányzó információkat tartalmazó kérések - nagyon hosszú bevitelek - hatókörön kívüli kérések, amelyeket el kell utasítani - azonnali beadási kísérletek Tartson egy regressziós szeletet a múltbeli hibákból. Méretezze a készletet ahhoz a döntéshez, amelyet támogatnia kell. Néhány tucat jól megválasztott eset korán feltárhat nagy problémákat. A kis eltérések megbízható észlelése több időt vesz igénybe. 100 sikeres/sikertelen eset és közel 80 százalékos megfelelési arány mellett a hibahatár nagyjából plusz-mínusz 8 százalékpont 95 százalékos megbízhatóság mellett. A kétpontos javulás ekkora méretnél megkülönböztethetetlen a zajtól. Jelentse az egyes szeletekre vonatkozó eredményeket, ne csak egy általános átlagot. Gyakori hiba, hogy az adatkészletet készként kezelik. A termékek és a felhasználók változnak, ezért frissítse az új naplókból. Tartson kinyújtott részt, amelyre soha nem hangol, hogy a felszólítások ne illeszkedjenek túl a teszthez.
Egy ügyfélszolgálati csapat 300 valódi jegyet exportál a személyes adatok eltávolításával, mindegyikhez felcímkézi a megfelelő felbontást, és minden új prompt verziót pontoz rájuk.
Az értekezlet összefoglalójához, ahol sok megfogalmazás helyes, a csapat egy rubrikát ír: lefedi a három kulcsfontosságú döntést, nem tesz alátámasztatlan állításokat, 150 szó alatt marad.
A csapat szélsőséges eseteket ad hozzá: üres bevitel, spanyol nyelvű kérdés, azonnali befecskendezési kísérletet tartalmazó dokumentum és olyan kérelmek, amelyek nem terjednek ki az asszisztensre.
Amikor egy felhasználó rossz választ jelent a termelésben, az eset a helyes választ tartalmazó adatkészletbe kerül, így a javítás onnantól kezdve tesztelve marad.
Az Eval szerszámozás gyorsan kiforrott. A nyílt forráskódú keretrendszerek és a hosztolt platformok mostantól adatkészleteket kezelnek, osztályozókat futtatnak, és nyomon követik az eredményeket az idő múlásával. A szintetikus adatgenerálás valószínűleg folyamatosan javulni fog, ami a ritka esetek fedezését olcsóbbá teszi. Nem helyettesítheti a valódi felhasználói bemeneteket, mint a legfontosabb dolgok horgonyját. Ahogy az alkalmazások egyre ügyesebbé válnak, az eval készletek egyre inkább tartalmaznak többlépcsős feladatokat, amelyek mind a végeredmény, mind az út során megtett lépések szerint osztályozhatók. Az alapvető tudományág lassan változik: határozza meg egyértelműen a sikert, fedje le a valós inputokat, használjon elegendő esetet ahhoz, hogy megbízzon a számokban, és rendszeresen frissítse a készletet a gyártásból.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az LLM eval adatkészlet valósághű bemenetek válogatott készlete, amelyek mindegyike arany válaszokkal, referenciatényekkel vagy osztályozási rubrikával párosul, és amelyek alapján futtatja az alkalmazást a minőség mérésére és a regressziók rögzítésére. Ez azért fontos, mert a felszólítás, a modell vagy a visszakeresés megváltoztatása javíthatja az egyik viselkedést, miközben megszakít egy másikat. Rögzített tesztkészlet nélkül a csapatok végül néhány kézzel válogatott példa alapján ítélik meg a változásokat.
A valós használat azt rögzíti, amit az emberek valójában kérdeznek, beleértve a rendetlen kifejezéseket is. A szintetikus tokok felülvizsgált kiegészítés, nem helyettesítés.
A nyílt végű kimenetek, például az összefoglalók nem párosíthatók pontosan. Konkrét, ellenőrizhető kritériumok segítségével az osztályozók következetesen megítélhetik azokat.
A jó kritérium konkrét és ellenőrizhető. Az olyan homályos kritériumok, mint a „hasznos”, az emberek és a modellek megítélésének következetlenségéhez vezetnek.
95 százalékos megbízhatósággal az árrés körülbelül 8 pont ennél a méretnél. A verziók közötti apró eltérések nem bízhatók meg több eset nélkül.
Minden javított hiba hozzáadása az adatkészlethez azt jelenti, hogy egy későbbi módosítás nem tudja csendben újra bevezetni ugyanazt a hibát.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
LLM Eval Frameworks: Promptfoo and DeepEval
Műszaki