LegközelebbKövetkező útmutató
Odds Arány Preferencia Optimalizálás
Nyelvi AI
Alapok ÚTMUTATÓ
A hossznormalizálás beállítja a preferencia-hangolási célokat, így a modellek már csak hosszabb válaszok írásával nem nyerik el a jóváhagyást.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a javítatlan jutalomjelek a csevegőbotokat bőbeszédű, párnázott válaszok felé tolják a valóban jobb válaszok helyett.
When models are aligned with comparisons, human or reward-model labelers may prefer longer answers even when the extra text is not better. In standard DPO, the implicit reward sums per-token log-probability differences, so it can grow with response length. SimPO uses average per-token log probability, removes the need for a separate reference model, and adds a target reward margin between preferred and rejected responses. The SimPO paper reports chat-based evaluations on AlpacaEval 2, MT-Bench, and Arena-Hard; these results are tied to its tested models and training setups. Length-normalized objectives can reduce verbosity bias, but aggressive normalization can also encourage under-informative answers. Evaluation should assess completeness and correctness alongside length-controlled preference results.
Az ügyfélszolgálati asszisztens behangolása a SimPO-val, hogy az éles, pontos válaszokat adjon a csak alaposnak tűnő bekezdések helyett.
Az AlpacaEval 2 „hosszúságvezérelt nyerési aránya” jelentése, hogy megmutassa, hogy a modell valóban javult, ahelyett, hogy csevegő lett volna.
Hossznormalizálás hozzáadása a DPO-hoz a kódolási modell finomhangolásakor, hogy az minimális helyes töredéket adjon vissza, nem pedig felduzzadt sablont.
Olyan jutalmazási modell diagnosztizálása, amely szisztematikusan magasabb pontszámot ér el a hosszabb esszékben, majd elfogulják, mielőtt egy írósegéd igazítására használnák.
Várható, hogy a hosszszabályozás standard gomb lesz, nem pedig utólagos. A kutatók a hosszúság normalizálását explicit hosszbüntetésekkel, hosszhoz kötött jutalmakkal és olyan értékelési csomagokkal kombinálják, amelyek a válasz hosszát állandóan tartják a valódi minőségjavulás mérésére. Ahogy a jutalommodellek egyre jobban észlelik a szóbeli torzítást, az igazítási folyamatok valószínűleg alapértelmezés szerint hossz-elfogult nyerési arányokat fognak jelenteni, és a felhasználók pontosabban szabályozhatják, hogy a modell válaszai mennyire legyenek tömörek vagy részletesek.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A hossznormalizálás beállítja a preferencia-hangolási célokat, így a modellek már csak hosszabb válaszok írásával nem nyerik el a jóváhagyást. Ez azért fontos, mert a nem javított jutalomjelek a csevegőbotokat bőbeszédű, párnázott válaszok felé tolják a valóban jobb válaszok helyett.
Az adatvédelmi tisztviselő implicit jutalma növekszik a tokenek számával, így a normalizálás nélküli modellek megtanulják, hogy pusztán a bőbeszédűség nyeri meg a preferenciák összehasonlítását.
Az implicit jutalom minden token log-valószínűségi arányát összegzi, így a több token általában nagyobb teljes jutalmat jelent.
A SimPO az átlagos (hosszúságra normalizált) log-valószínűségük alapján pontozza a válaszokat, és hozzáad egy céljutalom-különbözetet, eltávolítva a mechanikai hosszelőnyt.
A hosszvezérelt nyerési arány (mint az AlpacaEval 2-nél) a válasz hosszához igazodik, így a nyereség a minőséget tükrözi, nem a szókimondást.
The SimPO paper reports chat-based evaluations on AlpacaEval 2, MT-Bench, and Arena-Hard; these benchmark results apply to the tested models and setups.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Odds Arány Preferencia Optimalizálás
Nyelvi AI