Imọ Itọsọna
Oṣere-Critic Awọn ọna
Oṣere-Critic ọna darapo meji akẹẹkọ: ẹya 'oṣere' ti o yan awọn sise ati ki o kan 'alariwisi' ti o idajọ bi o dara awọn sise awon sise.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
This pairing makes reinforcement learning more stable and sample-efficient than using either approach alone.
Jin Dive
Ẹkọ imudara ni awọn aza gbooro meji: awọn ọna ti o da lori eto imulo ti o kọ ẹkọ taara kini lati ṣe, ati awọn ọna ti o da lori iye ti o kọ ẹkọ bii awọn ipinlẹ to dara. Oṣere-Critic fuses wọn. Oṣere naa jẹ eto imulo ti o ṣe agbejade awọn iṣeeṣe iṣe; alariwisi jẹ iṣẹ iye ti o ṣe iṣiro ipadabọ ti o nireti. Lẹhin igbesẹ kọọkan, alariwisi ṣe iṣiro aṣiṣe iyatọ-akoko kan ti n ṣe afihan boya abajade dara tabi buru ju ti a reti lọ. Oṣere naa nlo aṣiṣe yii lati Titari eto imulo rẹ si awọn iṣe ti o lu awọn ireti ati kuro lọdọ awọn ti ko ṣiṣẹ. Nitoripe alariwisi n pese ipilẹ ipilẹ iyatọ-kekere, awọn iṣiro gradient oṣere naa ko ni ariwo pupọ ju ni awọn ọna imudọgba eto imulo mimọ bii REINFORCE, lakoko ti o tun n mu awọn aye iṣe ilọsiwaju ti o ni idiyele-nikan awọn ọna bii Q-Learning ri airọrun.
Real-World imuse
Awọn apa roboti ikẹkọ ati awọn olutona gbigbe pẹlu awọn iyipo apapọ ti o tẹsiwaju (fun apẹẹrẹ, lilo PPO tabi SAC)
Titọpọ awọn awoṣe ede nla nipasẹ RLHF, nibiti PPO (ọna alariwisi oṣere kan) ṣe atunṣe awọn idahun si awoṣe ere kan
Titunto si awọn ere ilana idiju bii StarCraft II ati Dota 2
Itutu agbaiye ile-iṣẹ data ati awọn olutona iṣakoso agbara ti o kọ ẹkọ awọn atunṣe lilọsiwaju didan
Ojo iwaju ti Oṣere-Critic Awọn ọna
Oṣere-Critic jẹ ẹhin ti RL jinlẹ julọ ode oni. Awọn alugoridimu bii A3C, A2C, PPO, SAC, ati DDPG gbogbo wọn kọ sori rẹ, fifi awọn ẹtan kun bii awọn ibi-afẹde gige fun awọn imudojuiwọn iduroṣinṣin, awọn ẹbun entropy fun iṣawari, ati awọn oṣere ti o jọra fun iṣelọpọ. Reti idagbasoke ti o tẹsiwaju ni awọn ẹrọ roboti, awọn aṣoju ere iwọn nla, ati RL lati awọn esi eniyan fun awọn awoṣe ede titunṣe, nibiti iduroṣinṣin ati ṣiṣe ayẹwo jẹ pataki julọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Actor-Critic Methods quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is Actor-Critic Methods?
Oṣere-Critic ọna darapo meji akẹẹkọ: ẹya 'oṣere' ti o yan awọn sise ati ki o kan 'alariwisi' ti o idajọ bi o dara awọn sise awon sise. Sisopọ yii jẹ ki ẹkọ imuduro diẹ sii iduroṣinṣin ati ṣiṣe-daradara ju lilo boya ọna nikan.
Ninu ọna Oṣere-Oṣere, kini ipa ti 'alariwisi' naa?
Alariwisi kọ ẹkọ iṣẹ iye kan ati gbejade ifihan agbara igbelewọn (bii aṣiṣe TD) ti o sọ fun oṣere boya awọn iṣe rẹ dara tabi buru ju ti a reti lọ.
Kini 'anfani' A(s,a) = Q(s,a) -V(s) wiwọn?
Anfani naa ya sọtọ bawo ni iṣe kan pato ṣe ju abajade aṣoju lọ lati ipinlẹ yẹn, fifun ifihan mimọ ju awọn ipadabọ aise lọ.
Kini idi ti fifi alariwisi kan dinku iyatọ ti a fiwera si awọn ọna imuduro eto imulo mimọ bii REINFORCE?
Yiyọkuro idiyele iye awọn alariwisi bi ipilẹ ipilẹ kan dinku iyatọ ti awọn iṣiro gradient laisi fifi irẹwẹsi kun, ikẹkọ iyara.
Agbara wo ni awọn ọna oṣere-alariwisi ni awọn ọna ti o da lori iye itele bi Q-Learning mu lainidi?
Nitori oṣere taara paramita eto imulo kan, o le ṣe agbejade awọn iṣe lemọlemọfún (fun apẹẹrẹ, awọn iyipo apapọ) laisi iwulo iwọn kan ju awọn iṣe lọpọlọpọ lọ.
Ifihan agbara wo ni oṣere maa n lo lati ṣe imudojuiwọn eto imulo rẹ?
Oṣere naa ṣe atunṣe eto imulo rẹ ni itọsọna ti o daba nipasẹ anfani alariwisi / ami ami aṣiṣe TD, imudara awọn iṣe ti o dara ju ti a nireti lọ.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii