InayofuataMwongozo unaofuata
Mafunzo ya Kuimarisha Kutoka kwa Maoni ya Binadamu
Kiufundi
MWONGOZO wa Kiufundi
Kujifunza kwa Kuimarisha Kinyume
Inverse reinforcement learning (IRL) hugeuza kiwango cha RL: badala ya kupewa zawadi na kutafuta sera, hutazama tabia ya kitaalamu na kuathiri utendaji wa fiche wa malipo unaoifafanua.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Hili ni muhimu kwa sababu zawadi iliyorejeshwa huleta hali mpya kwa ujumla bora zaidi kuliko vitendo vilivyonakiliwa moja kwa moja.
Dive ya kina
Mafunzo ya uimarishaji kinyume yanauliza: ni lengo gani ambalo mtaalam lazima amekuwa akifuatilia ili kuishi jinsi walivyofanya? Ikizingatiwa na maonyesho, IRL hurejesha utendakazi wa zawadi ambapo tabia hiyo inaonekana sawa (au karibu kabisa), kisha hutumia RL ya kawaida kupata sera. Motisha ni ujumlishaji - zawadi iliyofunzwa hunasa sababu ya tabia, ili wakala aweze kutenda kwa busara katika majimbo ambayo maonyesho hayajawahi kushughulikiwa, tofauti na uigaji wa tabia ambao huiga tu vitendo. Tatizo kimsingi halijawekwa bayana: kazi nyingi za malipo huelezea tabia sawa, ikiwa ni pamoja na zisizo na maana. Mbinu muhimu hutatua utata huu, ikiwa ni pamoja na mbinu za kiwango cha juu zaidi ambazo hupendelea zawadi zinazomfanya mtaalam kuwa bora zaidi, na IRL ya kiwango cha juu cha entropy, ambayo huchagua ugawaji wa zawadi usio na dhamana inayolingana na data.
Utekelezaji wa Ulimwengu Halisi
Magari yanayojiendesha yakizingatia mapendeleo ya kuendesha (ulaini, mipaka ya usalama) kutoka kwa madereva wa kibinadamu
Roboti hujifunza malengo ya kazi kutoka kwa maonyesho ya kibinadamu ili kujumlisha hadi miundo mipya
Kuiga watembea kwa miguu au wanyama kwa kurejesha malengo nyuma ya trajectories zilizozingatiwa
Maoni ya zawadi kwa upatanishi wa AI, kujifunza maadili ya kibinadamu kutoka kwa chaguo zilizoonyeshwa
Mustakabali wa Mafunzo ya Kuimarisha Inverse
IRL inazidi kusisitiza ujifunzaji wa zawadi kwa upatanishi: badala ya zawadi za binadamu za kuandika kwa mkono, mifumo huzingatia kile ambacho watu huthamini kutokana na tabia na maoni. Tarajia viungo vikali na ujifunzaji wa uimarishaji kutoka kwa maoni ya kibinadamu na ujifunzaji wa mapendeleo, kuongeza muundo wa lugha na mipangilio ya robotiki. Utafiti unalenga kurejesha zawadi kutoka kwa video mbichi na uchunguzi usio kamili, na kuelekea zawadi zinazoweza kutambulika ambazo hupinga udukuzi wa zawadi na matatizo ya utata ambayo yanakumba mbinu za leo.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Inverse Reinforcement Learning quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Kujifunza kwa Uimarishaji Inverse ni nini?
Inverse reinforcement learning (IRL) hugeuza kiwango cha RL: badala ya kupewa zawadi na kutafuta sera, hutazama tabia ya kitaalamu na kuathiri utendaji wa fiche wa malipo unaoifafanua. Hili ni muhimu kwa sababu zawadi iliyorejeshwa huleta hali mpya kwa ujumla bora zaidi kuliko vitendo vilivyonakiliwa moja kwa moja.
Mafunzo ya uimarishaji kinyume yanalenga kurejesha nini?
IRL huchukua maonyesho kama ingizo na hukasirisha utendaji wa msingi wa zawadi ambapo tabia ya mtaalamu inaonekana kuwa bora zaidi.
Kwa nini shida ya IRL inaelezewa kama isiyoeleweka au isiyoeleweka?
Vitendaji vingi vya zawadi, ikiwa ni pamoja na zawadi ndogo kabisa ya sufuri, vinaweza kufanya tabia inayozingatiwa kuwa bora zaidi, kwa hivyo zawadi haiamuliwi kwa njia ya kipekee na maonyesho pekee.
Je, ni faida gani kuu ambayo kurejesha thawabu kuna faida zaidi ya kuiga tabia?
Chaguo la kukokotoa la zawadi husimba kwa nini mtaalamu alifanya hivyo, na kuruhusu sera inayotolewa kufanya kazi kwa busara katika majimbo mapya, ilhali kuunda kunakili vitendo vinavyoonekana kwenye data pekee.
Je, IRL ya kiwango cha juu cha entropy hutatua vipi utata wa malipo?
Max-entropy IRL huchukulia kuwa njia za zawadi ya juu zaidi zina uwezekano mkubwa zaidi, ikitoa lengo la kipekee ambalo pia linastahimili wataalamu wasio wakamilifu, wenye kelele.
Baada ya IRL kurejesha utendaji wa zawadi, kwa kawaida ni nini kinachofuata?
IRL hutoa zawadi, ambayo hukabidhiwa kwa algoriti ya kawaida ya RL ili kukusanya sera mojawapo chini ya lengo hilo lililokisiwa.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii