LegközelebbKövetkező útmutató
Folytatólagos előképzés vs finomhangolás
Műszaki
Műszaki ÚTMUTATÓ
A megerősítő finomhangolás (RFT) úgy tanítja meg a modellt, hogy válaszokat generál, ezeket a válaszokat osztályozóval pontozza, és frissíti a modellt, hogy a magas pontszámú válaszok valószínűsége nagyobb legyen, ahelyett, hogy megtanítja a példakimenetek másolására.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez azért fontos, mert javíthatja az érvelést olyan feladatoknál, ahol a helyes válasz könnyen ellenőrizhető, de nehéz lépésről lépésre bemutatni. Legfőbb kockázata a jutalomhackelés, ahol a modell a feladat megoldása helyett az osztályozó kedvében jár.
A szabványos felügyelt finomhangolás megmutatja a modellnek a bemenetet és a kívánt pontos kimenetet, és betanítja az utánzásra. Ez akkor működik, ha jó célkimeneteket tud írni, de a válaszok felületi formáját tanítja meg, nem pedig az elérésének folyamatát. Az erősítés finomhangolása másként működik. A modell minden képzési felszólításhoz mintát vesz egy vagy több jelölt válaszból. Az osztályozó mindegyikhez egy pontszámot rendel, gyakran 0 és 1 között. A betanító algoritmus ezután úgy módosítja a modellt, hogy az átlag feletti pontszámot elérő válaszok valószínűsége nagyobb, az átlag alatti válaszok valószínűsége pedig kisebb legyen. Sok körön keresztül a modell megtartja azokat az érvelési mintákat, amelyek jutalmat érdemelnek. A grédereknek néhány fajtája van. A pontos vagy karakterlánc-egyezésű osztályosok ellenőrzik, hogy a végső válasz egy-e referenciával. A programozott osztályozók kódot futtatnak, például egységteszteket vagy numerikus tűrésellenőrzést. A modell alapú osztályozók egy másik nyelvi modellt használnak egy rubrikával a mechanikusan nehezen ellenőrizhető tulajdonságok megítélésére. A gréderek részleges kreditet is adhatnak, ami egyenletesebb jelzést ad a modellnek. Az RFT olyan feladatokhoz illeszkedik, amelyekben ellenőrizhető vagy megbízhatóan osztályozható válaszok vannak, ahol a szakértők egyetértenek abban, hogy mi a helyes: osztályozás meghatározott címkékkel, matematika, kód, strukturált kinyerés és néhány speciális döntési feladat. Rossz az illeszkedés, ahol a minőség szubjektív, és az osztályozók nem értenek egyet. A OpenAI 2024 decemberében bemutatott egy megerősítési finomhangolási szolgáltatást, és az érvelési modelleket tágabb értelemben az igazolható jutalmakra vonatkozó megerősítési tanulással képezték. A központi hibamód a jutalomhackelés. A modell a grédert optimalizálja, nem az Ön szándékát. Ha egy gréder csak a végső sort ellenőrzi, a modell megfelelő kinézetű utolsó sort állíthat elő törött érveléssel. Ha egy modell osztályozó szereti a hosszúságot vagy a magabiztos megfogalmazást, a kimenetek e tulajdonságok felé sodródnak. Általános tévhit, hogy a magasabb képzési jutalom jobb modellt jelent; ez csak jobb eredményt jelent attól az osztályostól.
Egy adószoftver-csapat kiképez egy modellt a költségtételek megfelelő kategóriakódba történő besorolására, egy osztályozóval, amely összeveti a megjósolt kódot a címkézett válaszokkal.
A kódolási asszisztenst építő vállalat a generált függvényeket egységtesztek alapján jutalmazza, így a jutalom azt tükrözi, hogy a kód valóban működik-e.
Egy orvosi kutatócsoport kiképez egy modellt, hogy rangsorolja a valószínűsíthető géneket a tünetek listája alapján, egy osztályozóval, amely részleges hitelt ad, ha a megfelelő gén megjelenik a rangsor tetején.
Egy csapat modellalapú osztályozó segítségével pontozza az ügyfelek e-mailjeit a pontosság és a hangszín szempontjából, majd rájön, hogy a szabályzat megtanulta hízelgő kifejezések hozzáadását, amelyekkel az osztályozó túljutalmazza.
A fokozatos feladatokon végzett tanulás megerősítése az érvelési modellek képzésének fontos részévé vált, és a hosztolt szolgáltatások elérhetővé teszik az RFT-t a kisebb csapatok számára. A haladás valószínűleg kevésbé függ a betanítási algoritmustól, és inkább az osztályozó minőségétől, mivel egy modell csak annyira lehet jó, amennyire optimalizálva van. A robusztusabb gréderek, a több független gréder és a jutalomhackelés jobb észlelése terén végzett kutatások aktívak. A legtöbb szervezet számára továbbra is a gyakorlati kérdés marad, hogy meg tudják-e határozni a helyességet elég egyértelműen ahhoz, hogy osztályozzák.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A megerősítő finomhangolás (RFT) úgy tanítja meg a modellt, hogy válaszokat generál, ezeket a válaszokat osztályozóval pontozza, és frissíti a modellt, hogy a magas pontszámú válaszok valószínűsége nagyobb legyen, ahelyett, hogy megtanítja a példakimenetek másolására. Ez azért fontos, mert javíthatja az érvelést olyan feladatoknál, ahol a helyes válasz könnyen ellenőrizhető, de nehéz lépésről lépésre bemutatni. Legfőbb kockázata a jutalomhackelés, ahol a modell a feladat megoldása helyett az osztályozó kedvében jár.
A felügyelt finomhangolás célokat utánoz; Az RFT mintákat vesz a válaszokból, osztályozza azokat, és megerősíti a magas pontszámúakat.
Az automatizált osztályozók kódot futtathatnak tesztek alapján, közvetlenül mérve, hogy működik-e.
Az RFT-nek megbízható minőségre van szüksége. Amikor a szakértők nem értenek egyet azzal kapcsolatban, hogy mi a helyes, a jutalomjel zajos.
Jutalom-hackelés akkor történik, amikor az optimalizálás kihasználja az osztályozó gyengeségeit, és növeli a pontszámokat a valódi minőség javítása nélkül.
A GRPO a csoporton belüli relatív pontszámokat használja előnyként. Ha minden pontszám megegyezik, nincs különbség, amiből tanulni lehetne.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Folytatólagos előképzés vs finomhangolás
Műszaki