Itosi Afihan Iṣapeye
Imudara Eto imulo isunmọ (PPO) jẹ algoridimu imudara ẹkọ ti o ni nkan ṣe pẹlu awọn awoṣe ede ti o dara julọ lati awọn esi eniyan.
Akopọ
It improves a policy in careful, small steps to avoid the instability that plagues naive policy gradient methods.
Jin Dive
PPO ti ṣafihan nipasẹ OpenAI ni ọdun 2017 o si di ẹṣin iṣẹ lẹhin RLHF fun awọn ọna ṣiṣe bii InstructGPT ati ChatGPT. Ipenija mojuto ni eto imulo-gradient RL ni pe imudojuiwọn kan ti o tobi pupọju le kọlu iṣẹ ṣiṣe. PPO ṣe apejuwe eyi pẹlu 'ibi-afẹde surrogate ti a ge': o ṣe iwọn melo diẹ sii (tabi kere si) o ṣee ṣe pe iṣe kan ti di idakeji eto imulo atijọ, ṣe isodipupo ipin yẹn nipasẹ anfani (bawo ni iṣe naa ṣe dara julọ ju ti a reti lọ), ati awọn agekuru ipin si iwọn kekere bi 0.8 si 1.2. Eyi ṣe iwọn bawo ni eto imulo ṣe le gbe fun imudojuiwọn kan, mimu ikẹkọ duro ni iduroṣinṣin lakoko gbigba ilọsiwaju dada. Ni ede-awoṣe RLHF, awọn 'igbese' ti wa ni ti o npese a àmi tabi esi, awọn ere ba wa ni lati a ere awoṣe, ati ki o kan KL-iyatọ gbamabinu ntọju awọn awoṣe lati fiseete ju lati awọn oniwe-atilẹba ihuwasi.
Imọ-imọ-ẹrọ
PPO ṣe alekun ibi-afẹde gige kan: min (ipin * anfani, agekuru (ipin, 1-eps, 1+eps) * anfani), nibiti ipin jẹ iṣeeṣe iṣe tuntun-ju-atijọ. Awọn anfani ni a maa n ṣe iṣiro pẹlu Iṣiro Anfani Apejọ ati iye ẹkọ (alariwisi) nẹtiwọki. Ni RLHF, ẹsan lapapọ daapọ Dimegilio-awoṣe ere pẹlu ijiya KL kan fun-ami kan lodi si ilana itọkasi, iwọntunwọnsi ere ere lodi si wiwa sunmọ awoṣe atilẹba.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Imudara Afihan Isunmọ
PPO wa lagbara ṣugbọn o jẹ olokiki olokiki: o nilo nẹtiwọọki iye ọtọtọ, iṣatunṣe hyperparameter ṣọra, ati iṣiro pupọ. Awọn ọna yiyan ti o rọrun ti n gba ilẹ, pẹlu DPO (ko si RL rara) ati GRPO, eyiti o ju nẹtiwọọki iye silẹ nipasẹ ṣiṣero awọn anfani lati awọn ẹgbẹ ti awọn idahun ti a ṣe ayẹwo ati pe o ni agbara awọn awoṣe ironu aipẹ. PPO yoo tẹsiwaju nibiti iṣawari eto imulo ṣe iranlọwọ nitootọ, ṣugbọn aaye naa n taja diẹ ninu idiju rẹ fun awọn ọna din owo.
Real-World imuse
Ilana atunṣe to dara ati ChatGPT lati tẹle awọn itọnisọna ati awọn ayanfẹ eniyan nipasẹ RLHF
Ṣiṣere ere ikẹkọ ati awọn aṣoju iṣakoso roboti, agbegbe atilẹba ti PPO ṣaaju awọn awoṣe ede
Idinku majele tabi imudara iranlọwọ nipa mimu iwọn aami-awoṣe pọ si labẹ ihamọ KL kan
Imudara lilo-ọpa tabi ihuwasi aṣoju-igbesẹ pupọ nibiti a ti san ẹsan awoṣe kan fun pipe awọn iṣẹ-ṣiṣe ni deede
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Proximal Policy Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ẹgbẹ ibatan Afihan Iṣapeye
Awọn ibeere ti a beere nigbagbogbo
What is Proximal Policy Optimization?
Imudara Eto imulo isunmọ (PPO) jẹ algoridimu imudara ẹkọ ti o ni nkan ṣe pẹlu awọn awoṣe ede ti o dara julọ lati awọn esi eniyan. O ṣe ilọsiwaju eto imulo ni iṣọra, awọn igbesẹ kekere lati yago fun aisedeede ti o ṣe iyọnu awọn ọna isọdi eto imulo aiṣedeede.
Isoro wo ni 'pipin' PPO n koju ni akọkọ?
Gige ipin iṣeeṣe ṣe idilọwọ eyikeyi imudojuiwọn ẹyọkan lati gbigbe eto imulo naa jinna pupọ, eyiti o jẹ orisun akọkọ ti aisedeede ni awọn ọna imudara eto imulo.
Ni awoṣe ede-ede RLHF pẹlu PPO, nibo ni ifihan ere nigbagbogbo ti wa?
Awoṣe ẹsan n pese ẹsan iwọn fun awọn idahun ti ipilẹṣẹ, nitori nini Dimegilio eniyan ni gbogbo abajade lakoko RL kii yoo ṣeeṣe.
Kini ijiya iyatọ-KL ṣe ni RLHF ti o da lori PPO?
Ifiyaje KL-fun-ami kan lodi si eto imulo atilẹba (itọkasi) ṣe irẹwẹsi awoṣe lati yi ihuwasi rẹ pada pupọ lakoko ti o lepa ere.
Kini ipa ti nẹtiwọọki iye (alariwisi) ni PPO?
PPO jẹ ọna alariwisi oṣere; nẹtiwọọki iye ṣe iṣiro ere ti a nireti, ṣiṣe awọn iṣiro anfani (nigbagbogbo nipasẹ GAE) ti o dinku iyatọ.
Kini 'anfani' ṣe aṣoju ninu PPO?
Anfani naa ṣe iwọn bawo ni o ṣe dara julọ (tabi buru) iṣe ti a yan jẹ ibatan si iṣiro iye, sisọ eto imulo eyiti awọn iṣe lati fi agbara mu.