Oṣere-Critic Awọn ọna
Oṣere-Critic ọna darapo meji akẹẹkọ: ẹya 'oṣere' ti o yan awọn sise ati ki o kan 'alariwisi' ti o idajọ bi o dara awọn sise awon sise.
Akopọ
This pairing makes reinforcement learning more stable and sample-efficient than using either approach alone.
Jin Dive
Ẹkọ imudara ni awọn aza gbooro meji: awọn ọna ti o da lori eto imulo ti o kọ ẹkọ taara kini lati ṣe, ati awọn ọna ti o da lori iye ti o kọ ẹkọ bii awọn ipinlẹ to dara. Oṣere-Critic fuses wọn. Oṣere naa jẹ eto imulo ti o ṣe agbejade awọn iṣeeṣe iṣe; alariwisi jẹ iṣẹ iye ti o ṣe iṣiro ipadabọ ti o nireti. Lẹhin igbesẹ kọọkan, alariwisi ṣe iṣiro aṣiṣe iyatọ-akoko kan ti n ṣe afihan boya abajade dara tabi buru ju ti a reti lọ. Oṣere naa nlo aṣiṣe yii lati Titari eto imulo rẹ si awọn iṣe ti o lu awọn ireti ati kuro lọdọ awọn ti ko ṣiṣẹ. Nitoripe alariwisi n pese ipilẹ ipilẹ iyatọ-kekere, awọn iṣiro gradient oṣere naa ko ni ariwo pupọ ju ni awọn ọna imudọgba eto imulo mimọ bii REINFORCE, lakoko ti o tun n mu awọn aye iṣe ilọsiwaju ti o ni idiyele-nikan awọn ọna bii Q-Learning ri airọrun.
Imọ-imọ-ẹrọ
Oṣere naa ṣe imudojuiwọn awọn igbelewọn eto imulo rẹ ni itọsọna ti itọsi eto imulo, ti iwọn nipasẹ anfani A(s,a) = Q (s,a) - V(s), eyiti o ṣe iṣiro alariwisi (nigbagbogbo nipasẹ aṣiṣe TD r + gamma * V (s') - V (s)). Anfani naa ṣe iwọn bawo ni iṣe ti o dara julọ ju aropin ti ipinlẹ lọ, nitorinaa awọn anfani rere fikun awọn iṣe ati awọn ti ko dara yoo dinku wọn. Alariwisi naa ni ikẹkọ lọtọ lati dinku aṣiṣe TD rẹ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Oṣere-Critic Awọn ọna
Oṣere-Critic jẹ ẹhin ti RL jinlẹ julọ ode oni. Awọn alugoridimu bii A3C, A2C, PPO, SAC, ati DDPG gbogbo wọn kọ sori rẹ, fifi awọn ẹtan kun bii awọn ibi-afẹde gige fun awọn imudojuiwọn iduroṣinṣin, awọn ẹbun entropy fun iṣawari, ati awọn oṣere ti o jọra fun iṣelọpọ. Reti idagbasoke ti o tẹsiwaju ni awọn ẹrọ roboti, awọn aṣoju ere iwọn nla, ati RL lati awọn esi eniyan fun awọn awoṣe ede titunṣe, nibiti iduroṣinṣin ati ṣiṣe ayẹwo jẹ pataki julọ.
Real-World imuse
Awọn apa roboti ikẹkọ ati awọn olutona gbigbe pẹlu awọn iyipo apapọ ti o tẹsiwaju (fun apẹẹrẹ, lilo PPO tabi SAC)
Titọpọ awọn awoṣe ede nla nipasẹ RLHF, nibiti PPO (ọna alariwisi oṣere kan) ṣe atunṣe awọn idahun si awoṣe ere kan
Titunto si awọn ere ilana idiju bii StarCraft II ati Dota 2
Itutu agbaiye ile-iṣẹ data ati awọn olutona iṣakoso agbara ti o kọ ẹkọ awọn atunṣe lilọsiwaju didan
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Actor-Critic Methods quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ipilẹṣẹ Ibere keji ati Awọn ọna Newton
Awọn ibeere ti a beere nigbagbogbo
What is Actor-Critic Methods?
Oṣere-Critic ọna darapo meji akẹẹkọ: ẹya 'oṣere' ti o yan awọn sise ati ki o kan 'alariwisi' ti o idajọ bi o dara awọn sise awon sise. Sisopọ yii jẹ ki ẹkọ imuduro diẹ sii iduroṣinṣin ati ṣiṣe-daradara ju lilo boya ọna nikan.
Ninu ọna Oṣere-Oṣere, kini ipa ti 'alariwisi' naa?
Alariwisi kọ ẹkọ iṣẹ iye kan ati gbejade ifihan agbara igbelewọn (bii aṣiṣe TD) ti o sọ fun oṣere boya awọn iṣe rẹ dara tabi buru ju ti a reti lọ.
Kini 'anfani' A(s,a) = Q(s,a) -V(s) wiwọn?
Anfani naa ya sọtọ bawo ni iṣe kan pato ṣe ju abajade aṣoju lọ lati ipinlẹ yẹn, fifun ifihan mimọ ju awọn ipadabọ aise lọ.
Kini idi ti fifi alariwisi kan dinku iyatọ ti a fiwera si awọn ọna imuduro eto imulo mimọ bii REINFORCE?
Yiyọkuro idiyele iye awọn alariwisi bi ipilẹ ipilẹ kan dinku iyatọ ti awọn iṣiro gradient laisi fifi irẹwẹsi kun, ikẹkọ iyara.
Agbara wo ni awọn ọna oṣere-alariwisi ni awọn ọna ti o da lori iye itele bi Q-Learning mu lainidi?
Nitori oṣere taara paramita eto imulo kan, o le ṣe agbejade awọn iṣe lemọlemọfún (fun apẹẹrẹ, awọn iyipo apapọ) laisi iwulo iwọn kan ju awọn iṣe lọpọlọpọ lọ.
Ifihan agbara wo ni oṣere maa n lo lati ṣe imudojuiwọn eto imulo rẹ?
Oṣere naa ṣe atunṣe eto imulo rẹ ni itọsọna ti o daba nipasẹ anfani alariwisi / ami ami aṣiṣe TD, imudara awọn iṣe ti o dara ju ti a nireti lọ.