LegközelebbKövetkező útmutató
Az LLM Playgrounds használata az utasítások tesztelésére
Műszaki
Műszaki ÚTMUTATÓ
Az azonnali verziókezelés és a regressziós tesztelés azt jelenti, hogy minden promptot verziószámú melléktermékként tárolnak, és automatikusan újrafutnak egy kiértékelő csomagot, amikor a prompt, a modell vagy a környező kód megváltozik.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez azért fontos, mert egy kis szövegszerkesztés vagy egy szolgáltatói modellfrissítés csendesen megszakíthatja azokat a kimeneteket, amelyektől a felhasználók és a későbbi rendszerek függenek.
A promptok logikát tartalmaznak: utasításokat, megszorításokat, példákat és kimeneti formátumokat, amelyek meghatározzák, hogy az alkalmazás mit tegyen. Ha hétköznapi szövegként kezelik őket, az nyomon követhetetlen szerkesztésekhez és meglepetésekhez vezet a gyártás során. Ha kódként kezeljük őket, akkor ez verzióvezérlést, felülvizsgálatot, automatizált teszteket és ellenőrzött kiadásokat jelent. A verziókövetés több, mint a gyors megfogalmazás. A kimenet a teljes konfigurációtól függ: a rendszerprompttól, a sablontól és változóitól, néhány példából álló példáktól, eszköz- vagy funkciósémáktól, a modellazonosítótól, a mintavételi paraméterektől, például a hőmérséklettől és a maximális tokenektől, valamint a dokumentumok beszúrása esetén a visszakeresési beállításoktól. Bármelyik módosítása megváltoztathatja a viselkedést, ezért a csapatok együtt verziózzák őket, gyakran tartalomkivonattal azonosítva, és tárolják őket a git-ben vagy egy gyors regisztrációs adatbázisban. A regressziós teszteléshez kiértékelő adatkészletre van szükség, amelyet gyakran aranyhalmaznak neveznek: reprezentatív valós bemenetek, ismert szélső esetek és korábbi gyártási hibák tesztesetté alakítva. Az osztályozók a szigorútól a fuzzyig terjednek: pontos egyezés, JSON-séma érvényesítése, reguláris kifejezések, kódalapú ellenőrzések, egy LLM-bíró, aki egy rubrikához képest pontoz, és a minták időszakos emberi felülvizsgálata. A programcsomag minden változtatáskor automatikusan lefut, és az eredményeket az utolsó elfogadott alapértékkel hasonlítja össze. A modellmódosítások ugyanolyan kockázatosak, mint az azonnali szerkesztések. A szolgáltatói álnevek, például az általános legújabb modellnév idővel új verziókra mutathatnak, a régebbi pillanatképek pedig elavulnak. Egy keltezett pillanatfelvétel rögzítése és a programcsomag újbóli futtatása a váltás előtt a néma sodródást szándékos döntéssé változtatja. Számos tévhit okoz gondot. Néhány manuális helyszíni ellenőrzés kihagyja a ritka hibákat. A 0 hőmérséklet csökkenti a véletlenszerűséget, de nem garantálja az azonos kimeneteket a futtatások során. A magasabb LLM-bírói pontszám nem automatikusan jobb, mert a bíráknak vannak elfogultságaik, például a hosszabb válaszokat részesítik előnyben. Mivel a kimenetek változóak, a jó programcsomagok küszöbértékeket és ismételt mintákat használnak ahelyett, hogy pontos karakterlánc-egyenlőséget követelnének meg. A nyílt forráskódú eszközök, például a promptfoo, valamint a kereskedelmi kiértékelő platformok támogatják ezeket a munkafolyamatokat, de egy egyszerű szkript is működhet a CI-ben.
A support-bot csapat a promptokat sablonfájlként tartja a git-ben; minden lehívási kérelem egy CI-feladatot indít el, amely 300 mentett ügyfélkérdést futtat, és blokkolja az egyesítést, ha a helyes házirend-válaszok aránya az aktuális alapvonal alá csökken.
A számlakivonatolási folyamat egy dátummal ellátott modell pillanatképet rögzít; Mielőtt áttérne egy újabb pillanatképre, a csapat mindkettőn lefuttatja az aranykészletét, és mezőről mezőre áttekinti a JSON-kimenet különbségeit.
A termékmenedzser szerkeszti a felszólítás hangjelzéseit; a regressziós csomag barátságosabb válaszokat mutat, de több válaszból hiányzik a kötelező felelősségkizárás, így a változtatást a kiadás előtt felülvizsgálják.
A csapat minden éles kérésnél naplózza a kérdőíves verzióazonosítót, így a panaszok megugrása esetén a problémát egy adott telepítéshez köthetik, és perceken belül visszaállíthatják.
Az automatizált kiértékelés az LLM-alkalmazások készítésének rutinszerű részévé válik, éppúgy, mint a szoftvereknél az egységtesztek. A valószínű útmutatások közé tartozik a gyártásfigyelés és a tesztkészletek közötti szorosabb kapcsolat, így a valódi hibák automatikusan bekerülnek a csomagba, valamint az LLM-bírók fokozottabb ellenőrzése, akiknek megbízhatósága feladatonként változik. A modell elavulási ütemezései folyamatosan kényszerítik a migrációt, ami egy megbízható regressziós csomagot idővel értékesebbé tesz. Ezek egyike sem szünteti meg a nagy téttel bíró kimenetek emberi felülvizsgálatának szükségességét.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az azonnali verziókezelés és a regressziós tesztelés azt jelenti, hogy minden promptot verziószámú melléktermékként tárolnak, és automatikusan újrafutnak egy kiértékelő csomagot, amikor a prompt, a modell vagy a környező kód megváltozik. Ez azért fontos, mert egy kis szövegszerkesztés vagy egy szolgáltatói modellfrissítés csendesen megszakíthatja azokat a kimeneteket, amelyektől a felhasználók és a későbbi rendszerek függenek.
A kimenet a teljes konfigurációtól függ, így bármely alkatrész megváltoztatása megváltoztathatja a viselkedést.
Az álnevek idővel új verziókra mutathatnak, ami csendes sodródást okoz. A rögzítés a frissítéseket tesztelt döntésekké alakítja.
A kimenetek 0 hőmérsékleten is változhatnak, így a tesztek nem támaszkodhatnak a pontos egyenlőségre.
Mivel a kimenetek eltérőek, a csomagok összehasonlítják az áthaladási arányokat az alapértékekkel, és többször is mintavételezhetnek.
A valódi hibák tesztekké konvertálása biztosítja, hogy ugyanaz a hiba kerüljön észlelésre, ha visszatér.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Az LLM Playgrounds használata az utasítások tesztelésére
Műszaki