LegközelebbKövetkező útmutató
Megerősítő tanulás a kereskedéshez
Műszaki
Műszaki ÚTMUTATÓ
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
A csevegési asszisztens hangolása úgy, hogy az elutasítsa a káros kéréseket, és hasznos, jól strukturált válaszokat adjon, nem csak elfogadható szöveget.
Az összefoglaló párok rangsorolása emberi preferenciák alapján, hogy olyan modellt képezzenek ki, amely összefoglalókat ír, amelyeket az emberek valóban hasznosnak találnak.
A mérgező vagy elfogult kimenetek csökkentése az értékelők által tiszteletteljesnek és biztonságosnak ítélt válaszok jutalmazásával.
DPO használata előnyben részesített és elutasított válaszok adathalmazán egy nyílt forráskódú modell összehangolásához teljes PPO-hurok futtatása nélkül.
Az RLHF áramvonalasítása és részben automatizálása folyamatban van. Az adatvédelmi tisztviselő és a kapcsolódó közvetlen preferenciális módszerek sok csapatnál felváltják a nehéz PPO-folyamatot, és az RLAIF mesterséges intelligencia által generált visszajelzést használ (mint az alkotmányos mesterségesintelligencia esetében) a címkézési költségek csökkentése érdekében. A kutatás a jutalmazási hackelés, a jegyzők torzítása és a hosszú vagy szakértői válaszok megítélésének nehézségei ellen küzd olyan technikákkal, mint a folyamatfelügyelet és a vita. Várható, hogy az összehangolás ötvözze az emberi és a mesterséges intelligencia visszajelzéseit, gazdagabb jutalomjeleket az egyetlen hüvelykujj felütésen túl, és egyre nagyobb ellenőrzést kap, hogy ki adja meg a preferenciákat és milyen értékeket kódol.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
Az RLHF az emberek által preferált válaszok felé irányítja a modellt, és segítőkészebbé, őszintébbé és biztonságosabbá teszi, mint pusztán elfogadhatóvá.
A jutalmazási modellt az emberi preferenciák összehasonlítására képezik a válaszok pontozása érdekében, így biztosítva azt a jelet, amelyre a politika optimalizál.
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
Az annotátorok páronkénti összehasonlításban választják ki az előnyben részesített választ, ami egy Bradley-Terry-stílusú veszteségen keresztül képezi a jutalommodellt.
Az adatvédelmi tisztviselő a célt közvetlenül a preferenciákból vezeti le, elkerülve a külön jutalmazási modellt és a nehézkes megerősítő tanulási lépést.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Megerősítő tanulás a kereskedéshez
Műszaki