Imọ Itọsọna
Q-Ẹkọ
Ẹkọ-Q jẹ algoridimu ikẹkọ imuduro ti o nkọ oluranlowo eyiti awọn iṣe n sanwo julọ nipa kikọ ẹkọ ni iye ti gbigbe kọọkan nipasẹ idanwo ati aṣiṣe.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O ṣe pataki nitori o le wa ihuwasi ti o dara julọ laisi sọ fun awọn ofin ti ayika rẹ.
Jin Dive
Ẹkọ-Q kọ ẹkọ iṣẹ kan ti a pe ni Q(s, a): ẹsan igba pipẹ ti a nireti ti gbigbe igbese 'a' ni ipinlẹ 's' ati lẹhinna ṣiṣẹ ni aipe lẹhinna. Aṣoju naa bẹrẹ lati mọ ohunkohun, gbiyanju awọn iṣe, ati ṣe akiyesi awọn ere. Lẹhin igbesẹ kọọkan o ṣe iṣiro iṣiro-Q rẹ si ẹsan ti o kan gba pẹlu iye ẹdinwo ọjọ iwaju ti o dara julọ ti o nireti lati ipinlẹ atẹle. Ni pataki, o jẹ 'pipa-eto imulo' ati 'apẹrẹ-ọfẹ': o le kọ ẹkọ eto imulo ti o dara julọ lakoko ti o n ṣawari laileto, ati pe ko nilo awoṣe ti bii agbaye ṣe yipada. Fifun iwadi ti o to ti gbogbo bata igbese-ipinlẹ, awọn iye-Q-ni o daju pe o ṣajọpọ si awọn iye ti o dara julọ, ati pe iṣe ti o dara julọ ni eyikeyi ipinlẹ jẹ ọkan ti o ni Q ga julọ.
Real-World imuse
Awọn aṣoju ere Atari (DeepMind's DQN) kọ ẹkọ lati mu ṣiṣẹ Breakout ati Pong taara lati awọn piksẹli iboju
Mimu akoko ijabọ-ina ijabọ ni awọn ikorita lati dinku lapapọ akoko idaduro ọkọ
Lilọ kiri roboti nipasẹ akoj tabi iruniloju nibiti roboti ti kọ ẹkọ ọna ti o pọ julọ ere
Ifowoleri ti o ni agbara ati awọn ipinnu ọja-itaja nibiti aṣoju kan kọ ẹkọ iru awọn iṣe wo ni o mu ere pipẹ pọ si
Ojo iwaju ti Q-Learning
Classic tabular Q-Learning ìjàkadì nigbati awọn ipinlẹ pọ ju lati fipamọ sinu tabili kan. Itọsọna ti o ga julọ ni apapọ rẹ pẹlu awọn nẹtiwọọki nkankikan, bi ninu Jin Q-Networks (DQN), eyiti o jẹ isunmọ awọn iye Q lati awọn igbewọle aise bi awọn piksẹli. Iwadi n tẹsiwaju lori imuduro eyi pẹlu imuṣiṣẹsẹhin iriri, awọn nẹtiwọọki ibi-afẹde, ati awọn iyatọ bii Double DQN ati Ẹkọ Q-pinpin ti o dinku irẹjẹ apọju ati aṣoju awọn pinpin ipadabọ ni kikun ju awọn iwọn ẹyọkan lọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Q-Learning quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Q-Learning?
Ẹkọ-Q jẹ algoridimu ikẹkọ imuduro ti o nkọ oluranlowo eyiti awọn iṣe n sanwo julọ nipa kikọ ẹkọ ni iye ti gbigbe kọọkan nipasẹ idanwo ati aṣiṣe. O ṣe pataki nitori pe o le rii ihuwasi ti o dara julọ laisi sọ fun awọn ofin ti agbegbe rẹ lailai.
Kini Q-iye Q(s, a) duro?
Q(s, a) ṣe iṣiro lapapọ ẹsan ọjọ iwaju ẹdinwo lati ṣiṣe iṣe ni awọn ipinlẹ ati huwa ni aipe lẹhinna, kii ṣe ẹsan lẹsẹkẹsẹ.
Kini idi ti ẹkọ-Q-kikọ ṣe apejuwe bi 'pipa-ilana'?
Iwọn ti o pọju lori awọn iṣe atẹle tumọ si Q-Learning kọ iye ti eto imulo aipe ojukokoro paapaa lakoko ti aṣoju n ṣawari pẹlu eto imulo ihuwasi ti o yatọ.
Ninu ofin imudojuiwọn, kini iṣakoso gamma ifosiwewe ẹdinwo?
Gamma (laarin 0 ati 1) ẹdinwo awọn ere iwaju; awọn iye ti o wa nitosi 1 jẹ ki oluranlowo ni oju-ọna jijin, awọn iye ti o sunmọ 0 jẹ ki o jẹ oju-kukuru.
Kini asise akoko-iyatọ (TD) ni Q-Learning?
Aṣiṣe TD jẹ aafo laarin iṣiro ibi-afẹde tuntun (ẹsan pẹlu iye ẹdinwo ọjọ iwaju ti o dara julọ) ati iṣiro Q atijọ; imudojuiwọn dinku aafo yii.
Kini idi ti ẹkọ-kikọ Q-tabula itele ti ija pẹlu awọn iṣoro nla bii awọn ere fidio lati awọn piksẹli?
Tabili wiwa nilo titẹsi kan fun bata iṣe-ipinlẹ, eyiti ko ṣee ṣe nigbati awọn ipinlẹ ba jẹ nọmba ninu awọn ọkẹ àìmọye, ti nfa awọn isunmọ-nẹtiwọọki nkankikan bii DQN.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii