InoteveraGaidhi rinotevera
Nzira dzekuona dzekunyepa
Tekinoroji
Nhungamiro yehunyanzvi
Actor-Critic Nzira
Nzira dzevatambi-Vatsoropodzi dzinobatanidza vadzidzi vaviri: 'mutambi' anosarudza zviito uye 'mutsoropodzi' anoongorora kuti zviito izvozvo zvaive zvakanaka sei.
Teerera kugwaro iriAI-yakarondedzerwa · ~2 min
Pa peji ino2 min verenga
Pfupiso
Uku kubatanidza kunoita kuti kudzidza kwekusimbisa kuve kwakagadzikana uye sampuli-inoshanda pane kushandisa chero nzira yega.
Kudzika Kwakadzika
Kudzidza kwekusimbisa kune nzira mbiri dzakafara: nzira dzemitemo dzinodzidza zvakananga zvekuita, uye nzira dzakakosha dzinodzidza kuti nyika dzakanaka sei. Actor-Critic anovasanganisa. Mutambi igwaro rinoburitsa zvingangoitika; mutsoropodzi ibasa rinokosha rinofungidzira kudzoka kunotarisirwa. Mushure menhanho imwe neimwe, mutsoropodzi anokokorodza kukanganisa kwechinguva-musiyano kuratidza kuti mhedzisiro yacho yaive nani kana yakaipa pane zvaitarisirwa. Mutambi anoshandisa chikanganiso ichi kusundira mutemo wake kune zviito zvinokunda zvinotarisirwa uye kure neavo vasingaite. Nekuti mutsoropodzi anopa yakaderera-yakasiyana-siyana yekutanga, fungidziro yemutambi ine ruzha rushoma pane nzira dzakachena dzepolicy-gradient seREINFORCE, uchiri kubata nzvimbo dzinoramba dzichiitwa dzinokosha-chete nzira senge Q-Kudzidza dzinowana zvinonetsa.
Kuitwa muNyika yeChokwadi
Kudzidzira maoko emarobhoti uye zvidzoreso zvekufambisa zvine majoini anoenderera mberi (semuenzaniso, uchishandisa PPO kana SAC)
Kubatanidza mhando dzemitauro mikuru kuburikidza neRLHF, uko PPO (mutambi-anotsoropodza nzira) inogonesa mhinduro kupikisa modhi yemubairo.
Mastering yakaoma nzira mitambo yakadai seStarcraft II uye Dota 2
Data-center kutonhodza uye simba-management controllers anodzidza akatsetseka anoramba achigadzirisa
Ramangwana reActor-Critic Methods
Actor-Critic ndiye musana wemazuva ano zvakadzama RL. Algorithms senge A3C, A2C, PPO, SAC, uye DDPG ese anovaka pairi, achiwedzera matipi akadai seakachekwa zvinangwa zvekugadzika zvigadziriso, entropy mabhonasi ekuongorora, uye vanofananidzira vatambi vekubudirira. Tarisira kuenderera mberi kwekukura mumarobhoti, maajenti makuru emitambo, uye RL kubva mumhinduro dzevanhu dzekugadzirisa mamodheru emitauro, uko kugadzikana uye kushanda kwemuenzaniso kwakakosha.
Kuzvishandisa
Nei zvichikosha
- Mutengo uye bhajeti. Zvisarudzo zvezvivakwa zvinotyaira kuita uye mutengo wekushandisa kwemakore.
- Sarudzo dzakajeka. Dzidzo yehunyanzvi inobatsira zvikwata kusarudza murwi wakakodzera, kwete iwo mutsva chete.
- Kudzora kwemhando yepamusoro. Sarudzo dzeinjiniya dziri nani dzinoderedza zviitiko zvekuvimbika mukugadzira.
Chenjera
- Kugadzirisa imwe bhenji kunogona kuvanza yakafara system kushaya simba.
- Infrastructure uye mari yekugadzirisa inowanzotarisirwa pasi.
- Chengetedzo uye kucherechedzwa mapundu anogona kukura sezvo masisitimu anowedzera kuoma.
Matanho anotevera
- Tsanangura latency, mhando, uye mutengo zvinangwa usati waitwa.
- Benchmark pasi pechokwadi mutoro uye data mamiriro.
- Chishandiso chekutarisa zvikanganiso, kudonha, uye mushandisi maitiro.
- Gadzirira nzira dzekudzosera kumashure uye dzezviitiko usati wawedzera.
Ramba Uchiongorora
Tsamba yemahara
Tora iyo yemazuva ese AI pfupiso
Nhatu dzakasimbiswa dzeAI nyaya mangwanani ega ega pakati pevhiki, dzakanyorwa neChirungu chakajeka. Yemahara zvachose, hapana ads.
Imwe email zuva rega rega revhiki. Bvisa kunyoresa kamwe chete. Hatimbotengese kana kugovera kero yako.
Zviedze iwe pachako
Take the Actor-Critic Methods quiz
Mhinduro yepakarepo pamhinduro yega yega, uye chitupa chinogovaniswa chine ID inobatika kana wapedza kosi.
Tsigira dzidzo yemahara yeAI. AI Understanding ndeye 501(c)(3) isingabatsiri - hapana ads, hapana paywall, zvachose. Ita chipo
Mibvunzo inowanzo bvunzwa
Chii chinonzi Actor-Critic Methods?
Nzira dzevatambi-Vatsoropodzi dzinobatanidza vadzidzi vaviri: 'mutambi' anosarudza zviito uye 'mutsoropodzi' anoongorora kuti zviito izvozvo zvaive zvakanaka sei. Uku kubatanidza kunoita kuti kudzidza kwekusimbisa kuve kwakagadzikana uye sampuli-inoshanda pane kushandisa chero nzira yega.
Munzira yeActor-Critic, basa re 'mutsoropodzi' nderei?
Mutsoropodzi anodzidza kukosha kwebasa uye anoburitsa chiratidzo chekuongorora (sechikanganiso cheTD) chinoudza mutambi kana zviito zvake zvaive nani kana kuipa pane zvaitarisirwa.
Ko iyo 'advantage' A(s,a) = Q(s,a) - V(s) inoyera chii?
Mubairo wacho unosiyanisa kuti yakawanda sei chiitiko chinokunda zvakajairwa kubva mudunhu iroro, ichipa chiratidzo chekuchenesa pane kudzoka mbishi.
Nei kuwedzera mutsoropodzi kuchideredza mutsauko uchienzaniswa neakachena mutemo-gradient nzira seREINFORCE?
Kubvisa fungidziro yeukoshi hwemutsoropodzi sehwaro kunodzikisira kusiyana kwefungidziro yegradient pasina kuwedzera kurerekera, kukurumidza kudzidza.
Ndeupi hunyanzvi hunoitwa neActor-Critic nzira dzine nzira dzakajeka-dzakavakirwa seQ-Kudzidza kubata zvinonetsa?
Nekuti mutambi anomisa mutemo zvakanangana, inogona kuburitsa zviito zvinoenderera (semuenzaniso, majoini torque) pasina kuda max pamusoro pezviito zvakawanda.
Ndechipi chiratidzo chinowanzo shandiswa nemutambi kugadzirisa mutemo wake?
Mutambi anogadzirisa gwara rayo munzira inokurudzirwa nemutsoropodzi mukana/TD-chikanganiso chiratidzo, ichisimbisa zvirinani-kupfuura-zvinotarisirwa zviito.
Ramba uchidzidza
Mazano anoenderana
Mamwe madhairekitori akasarudzirwa nyaya iyi