LegközelebbKövetkező útmutató
Hőmérséklet és mintavétel
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A Best-of-N egy következtetési idő kiválasztási módszer: vegyen mintát több kimenetből, és válasszon ki egy pontozót vagy ellenőrzőt.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Javíthatja az eredményeket, ha a modell néha jó jelöltet hoz, és a pontozó megbízhatóan azonosítja azt. Több minta több előállításba kerül, és felerősítheti a hibákat a tökéletlen pontozónál.
Az N közül a legjobb minta N jelölt válaszát adja meg egy modellből, és azt adja vissza, amelyik a legmagasabb pontszámot kapta jutalmazási modell, ellenőrző vagy heurisztika alapján. Az önkonzisztencia egy speciális eset, amely többségi szavazással összesíti a végső válaszokat. Ha minden független mintának p valószínűsége van a sikerességre, és a tökéletes ellenőrző képes felismerni a sikert, akkor annak esélye, hogy legalább egy jelölt helyes, 1−(1−p)^N. A valódi eredmények nem feltétlenül függetlenek, és a valódi pontozók tökéletlenek. A jutalmazási modell túloptimalizálásával kapcsolatos kutatások azt találják, hogy a proxyval való optimalizálás végül csökkentheti az aranystandard teljesítményét, beleértve a legjobb N közül a legjobb választást is.
Több matematikai megoldás mintavétele és egy olyan kiválasztása, amelyik megfelel az ellenőrzőnek
Kódjelöltek generálása és rangsorolása egységteszt eredményeivel
Többségi szavazás használata, ha több érvelési lánc ugyanarra a válaszra jut
A minőségi előnyök összehasonlítása a további generált tokenekkel és a pontozó költségével
Következtetési idejű skálázási kutatások adaptív mintaszámlálást, ellenőrzőket és jutalommodell-kalibrációt vizsgálnak. A megfelelő N a feladattól, a minta minőségétől, a pontozó megbízhatóságától és a számítási költségvetéstől függ. Az értékeléseknek jelenteni kell mind a kiválasztott válasz mérőszámát, mind a hozzáadott előállítási/pontozási költséget.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Best-of-N egy következtetési idő kiválasztási módszer: vegyen mintát több kimenetből, és válasszon ki egy pontozót vagy ellenőrzőt. Javíthat az eredményeken, ha a modell néha jó jelöltet hoz, és a pontozó megbízhatóan azonosítja azt. Több minta több előállításba kerül, és felerősítheti a hibákat a tökéletlen pontozónál.
Az N legjobbja több jelölt választ is kihúz, majd átsorolja őket, visszaadva a legmagasabb pontszámot.
Több jelölt csak akkor segít, ha néha megjelenik egy jó válasz, és a pontozó felismeri; egyik feltétel sem garantált.
A kiválasztás csak annyira jó, mint az átrendező; egy gyenge vagy elfogult pontozó rossz választ adhat.
A kutatás a jutalommodell túloptimalizálását méri a legjobb N-ben: az extrém proxypontszámok kiválasztása végül csökkentheti az aranyjutalom teljesítményét.
Az önkonzisztencia számos érvelési láncot mintát vesz, és kiválasztja azt a végső választ, amelyben a legtöbb lánc egyetért.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Hőmérséklet és mintavétel
Nyelvi AI