Ẹkọ Imudara onidakeji
Ẹkọ imuduro inverse (IRL) yipada RL boṣewa: dipo fifun ni ẹsan ati wiwa eto imulo kan, o n wo ihuwasi iwé ati ṣafihan iṣẹ ere ti o farapamọ ti o ṣalaye rẹ.
Akopọ
This matters because a recovered reward generalizes to new situations far better than directly copied actions.
Jin Dive
Ẹkọ imuduro onidakeji beere: ibi-afẹde wo ni o gbọdọ ti lepa lati huwa ni ọna ti wọn ṣe? Awọn ifihan ti a fun, IRL ṣe atunṣe iṣẹ ere labẹ eyiti ihuwasi yẹn dabi aipe (tabi ti o sunmọ-ti aipe), lẹhinna lo RL boṣewa lati ṣe eto imulo kan. Iwuri naa jẹ gbogbogbo - ẹsan ikẹkọ gba idi ti o wa lẹhin ihuwasi, nitorinaa aṣoju le ṣe ni oye ni awọn ipinlẹ ti awọn ifihan ko bo, ko dabi isunmọ ihuwasi eyiti o farawe awọn iṣe nikan. Iṣoro naa jẹ aiṣedeede ipilẹ: ọpọlọpọ awọn iṣẹ ere ṣe alaye ihuwasi kanna, pẹlu awọn ti ko ṣe pataki. Awọn isunmọ bọtini yanju aibikita yii, pẹlu awọn ọna ala ti o pọju ti o fẹran awọn ere ti o jẹ ki iwé ni kedere ti o dara julọ, ati pe o pọju-entropy IRL, eyiti o mu pinpin ere ti o kere ju-ipin ni ibamu pẹlu data naa.
Imọ-imọ-ẹrọ
Ipenija aringbungbun jẹ aibikita: ẹsan odo nigbagbogbo jẹ ki gbogbo eto imulo dara julọ, nitorinaa ailopin ọpọlọpọ awọn ere ṣe alaye ifihan eyikeyi. O pọju-entropy IRL ṣe ipinnu eyi nipasẹ ṣiṣe awọn ifihan awoṣe bi a ṣe fa lati pinpin nibiti iṣeeṣe itọpa ti dagba ni afikun pẹlu ere lapapọ. Eyi ṣe agbejade alailẹgbẹ kan, ibi-afẹde ti o ni asọye daradara ati nipa ti n kapa alariwo, awọn amoye aipe, nitori awọn itọpa suboptimal lasan gba kekere ṣugbọn iṣeeṣe ti kii ṣe deede dipo ki a pase jade.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Ẹkọ Imudara Inverse
IRL n ṣe atilẹyin ikẹkọ ẹsan fun titete: dipo awọn ẹsan ifaminsi eniyan, awọn ọna ṣiṣe jẹ ohun ti eniyan ni idiyele lati ihuwasi ati esi. Reti awọn ọna asopọ wiwọ pẹlu ikẹkọ imuduro lati awọn esi eniyan ati ẹkọ ayanfẹ, iwọn si awoṣe-ede ati awọn eto roboti. Iwadi n tẹriba si gbigba awọn ere pada lati fidio aise ati awọn akiyesi apakan, ati si awọn ere idamọ ti o daju ti o koju jija ere ati awọn iṣoro aibikita ti o kọlu awọn ọna ode oni.
Real-World imuse
Awọn ọkọ ayọkẹlẹ adase ti n ṣe afihan awọn ayanfẹ awakọ (didara, awọn ala ailewu) lati ọdọ awakọ eniyan
Awọn ibi-afẹde iṣẹ-ṣiṣe ti awọn roboti lati awọn ifihan eniyan lati ṣe gbogbogbo si awọn ipilẹ tuntun
Awoṣe ẹlẹsẹ tabi gbigbe eranko nipa gbigbapada awọn ibi-afẹde lẹhin awọn itọpa ti a ṣe akiyesi
Itọkasi ere fun titete AI, kikọ awọn iye eniyan lati awọn yiyan ti a fihan
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Inverse Reinforcement Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ẹkọ Imudara Lati Idahun Eniyan
Awọn ibeere ti a beere nigbagbogbo
What is Inverse Reinforcement Learning?
Ẹkọ imuduro inverse (IRL) yipada RL boṣewa: dipo fifun ni ẹsan ati wiwa eto imulo kan, o n wo ihuwasi iwé ati ṣafihan iṣẹ ere ti o farapamọ ti o ṣalaye rẹ. Eyi ṣe pataki nitori ẹsan ti o gba pada ṣe gbogbogbo si awọn ipo tuntun dara julọ ju awọn iṣe daakọ taara.
Kini ẹkọ imuduro onidakeji ṣe ifọkansi lati bọsipọ?
IRL gba awọn ifihan bi titẹ sii ati ṣe afihan iṣẹ ere ti o wa labẹ eyiti ihuwasi iwé han pe o dara julọ.
Kini idi ti iṣoro IRL ṣe apejuwe bi aiṣedeede tabi aibikita?
Awọn iṣẹ ẹsan lọpọlọpọ, pẹlu ẹsan gbogbo-odo kekere, le jẹ ki ihuwasi ti a ṣe akiyesi dara julọ, nitorinaa ere naa ko ni ipinnu ni iyasọtọ nipasẹ awọn ifihan nikan.
Anfani bọtini wo ni gbigbapada ere kan ni lori ti ẹda ihuwasi?
Iṣẹ ẹsan kan ṣe koodu idi idi ti iwé naa ṣe bi o ti ṣe, jẹ ki eto imulo ti a mu ni ihuwasi huwa ni oye ni awọn ipinlẹ tuntun, lakoko ti cloning nikan awọn iṣe idaako ti a rii ninu data naa.
Bawo ni o pọju-entropy IRL yanju ambiguity ere?
Max-entropy IRL dawọle awọn itọpa ere ti o ga julọ ni o ṣeeṣe diẹ sii, fifun ni ipinnu alailẹgbẹ ti o tun fi aaye gba alaipe, awọn amoye alariwo.
Lẹhin ti IRL gba iṣẹ ere kan pada, kini igbagbogbo ṣe atẹle?
IRL ṣe agbejade ẹsan kan, eyiti a fi lelẹ si algoridimu RL deede lati ṣe iṣiro eto imulo to dara julọ labẹ ibi-afẹde yẹn.