LegközelebbKövetkező útmutató
Védőkorlátok és kimeneti moderálás
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Az önfinomítás egy olyan felszólító technika, amelyben a nyelvi modell bírálja saját kimenetét, és újraírja azt, és addig hurkol, amíg a válasz javul.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a modellek gyakran extra képzés vagy emberi visszajelzés nélkül is észreveszik és kijavíthatják saját hibáikat.
A Madaan és munkatársai által 2023-ban bevezetett Self-Refine ugyanazt a modellt három szerepkörben futtatja: generátor, kritikus és lektor. Először a modell egy kezdeti választ ad. Ezután a rendszer felkéri, hogy adjon konkrét, végrehajtható visszajelzést a válaszról (pl. „ebben a kódban nincs hibakezelés” vagy „ez az összefoglaló nem tartalmazza a költségadatot”). Végül a visszajelzés alapján újraírja a választ. A ciklus addig ismétlődik, amíg a modell úgy nem dönti, hogy a kimenet elég jó, vagy egy lépéshatárt el nem érnek. Lényeges, hogy nincs szükség további képzésre, jutalommodellre vagy külső eszközre, csak ügyes felszólításra. Az olyan feladatoknál, mint a kódoptimalizálás, a párbeszéd és a hangulat-újraírás, ez a hurok mérhetően javította a minőséget az egyszeri generáláshoz képest.
A generált kód javítása úgy, hogy a modelljelzőből hiányzik az élesetek, majd írja át a függvényt, hogy kezelje azokat
E-mail- vagy esszépiszkozat csiszolása önkritikával és tisztasággal, majd átdolgozása a célközönség számára
Egy matematikai vagy érvelési feladatra adott válasz optimalizálása az egyes lépések ellenőrzésével és a számtani hibák kijavításával
Az ügyfélszolgálati válasz finomítása úgy, hogy az általános válasz helyett közvetlenül a felhasználó kérdésére válaszoljon
Az Self-Refine az ügynöki rendszerek építőkövévé válik, ahol a modellek iteratív módon elkészítik, tesztelik és javítják a kódot vagy a terveket, mielőtt cselekednének. A külső hitelesítőkkel (egységtesztekkel, számológépekkel, kereséssel) való szorosabb integrációra számítson, így a kritika valós jelzéseken alapul, nem pedig a modell véleményén. A kutatás azt vizsgálja, hogy az önkritika mikor segít, szemben azzal, amikor a modellek makacsul ismételgetik a hibákat, és az adaptív vezérlők, amelyek eldöntik, hogy egy adott feladatnak hány finomítási körre van szüksége a minőség és a költség egyensúlyához.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az önfinomítás egy olyan felszólító technika, amelyben a nyelvi modell bírálja saját kimenetét, és újraírja azt, és addig hurkol, amíg a válasz javul. Ez azért fontos, mert a modellek gyakran extra képzés vagy emberi visszajelzés nélkül is észreveszik és kijavíthatják saját hibáikat.
Az Self-Refine egy modellt három kért szerepkörben használ: vázlatot generál, bírálja, majd felülvizsgálja.
Az Self-Refine meghatározó jellemzője, hogy nincs szüksége extra képzésre, jutalommodellre vagy emberi visszajelzésre, csak felszólításra.
Az új felszólításban történő bírálat objektív értékelésre ösztönöz, nem pedig az eredeti válasz racionalizálására.
A konkrét, végrehajtható kritika (pl. „hibakezelés hozzáadása”) célzott szerkesztéseket hajt végre; homályos visszajelzések homályos revíziókat eredményeznek.
Ha a modell nem tud felismerni egy problémát, önkritikája nem hozza felszínre, így a revízió nem tudja kijavítani.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Védőkorlátok és kimeneti moderálás
Nyelvi AI