Q-Ẹkọ
Ẹkọ-Q jẹ algoridimu ikẹkọ imuduro ti o nkọ oluranlowo eyiti awọn iṣe n sanwo julọ nipa kikọ ẹkọ ni iye ti gbigbe kọọkan nipasẹ idanwo ati aṣiṣe.
Akopọ
O ṣe pataki nitori o le wa ihuwasi ti o dara julọ laisi sọ fun awọn ofin ti ayika rẹ.
Jin Dive
Ẹkọ-Q kọ ẹkọ iṣẹ kan ti a pe ni Q(s, a): ẹsan igba pipẹ ti a nireti ti gbigbe igbese 'a' ni ipinlẹ 's' ati lẹhinna ṣiṣẹ ni aipe lẹhinna. Aṣoju naa bẹrẹ lati mọ ohunkohun, gbiyanju awọn iṣe, ati ṣe akiyesi awọn ere. Lẹhin igbesẹ kọọkan o ṣe iṣiro iṣiro-Q rẹ si ẹsan ti o kan gba pẹlu iye ẹdinwo ọjọ iwaju ti o dara julọ ti o nireti lati ipinlẹ atẹle. Ni pataki, o jẹ 'pipa-eto imulo' ati 'apẹrẹ-ọfẹ': o le kọ ẹkọ eto imulo ti o dara julọ lakoko ti o n ṣawari laileto, ati pe ko nilo awoṣe ti bii agbaye ṣe yipada. Fifun iwadi ti o to ti gbogbo bata igbese-ipinlẹ, awọn iye-Q-ni o daju pe o ṣajọpọ si awọn iye ti o dara julọ, ati pe iṣe ti o dara julọ ni eyikeyi ipinlẹ jẹ ọkan ti o ni Q ga julọ.
Imọ-imọ-ẹrọ
Kokoro ni imudojuiwọn Bellman: Q(s,a) <- Q(s,a) + alpha[r + gamma*max_a'Q(s',a') - Q(s,a)]. Alpha jẹ oṣuwọn ikẹkọ, gamma ifosiwewe ẹdinwo iwuwo awọn ere iwaju, ati pe ọrọ akọmọ jẹ aṣiṣe iyatọ-akoko. 'Max' lori awọn iṣe atẹle jẹ ohun ti o jẹ ki o wa ni pipa-ilana ati jẹ ki o kọ ẹkọ eto imulo aipe ojukokoro paapaa lakoko ti o n ṣawari. Ṣiṣayẹwo ni igbagbogbo ni a mu pẹlu yiyan iṣe-ojukokoro epsilon.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Q-Learning
Classic tabular Q-Learning ìjàkadì nigbati awọn ipinlẹ pọ ju lati fipamọ sinu tabili kan. Itọsọna ti o ga julọ ni apapọ rẹ pẹlu awọn nẹtiwọọki nkankikan, bi ninu Jin Q-Networks (DQN), eyiti o jẹ isunmọ awọn iye Q lati awọn igbewọle aise bi awọn piksẹli. Iwadi n tẹsiwaju lori imuduro eyi pẹlu imuṣiṣẹsẹhin iriri, awọn nẹtiwọọki ibi-afẹde, ati awọn iyatọ bii Double DQN ati Ẹkọ Q-pinpin ti o dinku irẹjẹ apọju ati aṣoju awọn pinpin ipadabọ ni kikun ju awọn iwọn ẹyọkan lọ.
Real-World imuse
Awọn aṣoju ere Atari (DeepMind's DQN) kọ ẹkọ lati mu ṣiṣẹ Breakout ati Pong taara lati awọn piksẹli iboju
Mimu akoko ijabọ-ina ijabọ ni awọn ikorita lati dinku lapapọ akoko idaduro ọkọ
Lilọ kiri roboti nipasẹ akoj tabi iruniloju nibiti roboti ti kọ ẹkọ ọna ti o pọ julọ ere
Ifowoleri ti o ni agbara ati awọn ipinnu ọja-itaja nibiti aṣoju kan kọ ẹkọ iru awọn iṣe wo ni o mu ere pipẹ pọ si
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Q-Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣeto Oṣuwọn Ẹkọ
Awọn ibeere ti a beere nigbagbogbo
Kini Q-Learning?
Ẹkọ-Q jẹ algoridimu ikẹkọ imuduro ti o nkọ oluranlowo eyiti awọn iṣe n sanwo julọ nipa kikọ ẹkọ ni iye ti gbigbe kọọkan nipasẹ idanwo ati aṣiṣe. O ṣe pataki nitori pe o le rii ihuwasi ti o dara julọ laisi sọ fun awọn ofin ti agbegbe rẹ lailai.
Kini Q-iye Q(s, a) duro?
Q(s, a) ṣe iṣiro lapapọ ẹsan ọjọ iwaju ẹdinwo lati ṣiṣe iṣe ni awọn ipinlẹ ati huwa ni aipe lẹhinna, kii ṣe ẹsan lẹsẹkẹsẹ.
Kini idi ti ẹkọ-Q-kikọ ṣe apejuwe bi 'pipa-ilana'?
Iwọn ti o pọju lori awọn iṣe atẹle tumọ si Q-Learning kọ iye ti eto imulo aipe ojukokoro paapaa lakoko ti aṣoju n ṣawari pẹlu eto imulo ihuwasi ti o yatọ.
Ninu ofin imudojuiwọn, kini iṣakoso gamma ifosiwewe ẹdinwo?
Gamma (laarin 0 ati 1) ẹdinwo awọn ere iwaju; awọn iye ti o wa nitosi 1 jẹ ki oluranlowo ni oju-ọna jijin, awọn iye ti o sunmọ 0 jẹ ki o jẹ oju-kukuru.
Kini asise akoko-iyatọ (TD) ni Q-Learning?
Aṣiṣe TD jẹ aafo laarin iṣiro ibi-afẹde tuntun (ẹsan pẹlu iye ẹdinwo ọjọ iwaju ti o dara julọ) ati iṣiro Q atijọ; imudojuiwọn dinku aafo yii.
Kini idi ti ẹkọ-kikọ Q-tabula itele ti ija pẹlu awọn iṣoro nla bii awọn ere fidio lati awọn piksẹli?
Tabili wiwa nilo titẹsi kan fun bata iṣe-ipinlẹ, eyiti ko ṣee ṣe nigbati awọn ipinlẹ ba jẹ nọmba ninu awọn ọkẹ àìmọye, ti nfa awọn isunmọ-nẹtiwọọki nkankikan bii DQN.