LegközelebbKövetkező útmutató
Az emberi visszajelzésekből való tanulás megerősítése
Műszaki
Műszaki ÚTMUTATÓ
Az inverz megerősítő tanulás (IRL) megfordítja a szabványos RL-t: jutalmazás és irányelv keresése helyett figyeli a szakértői viselkedést, és kikövetkeztet az azt magyarázó rejtett jutalmazási funkcióra.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a visszaszerzett jutalom sokkal jobban általánosít új helyzetekre, mint a közvetlenül másolt cselekedetek.
Az inverz megerősítő tanulás azt kérdezi: milyen célt kell követnie egy szakértőnek, hogy úgy viselkedjen, ahogyan tette? A demonstrációk alapján az IRL visszaállít egy jutalmazási függvényt, amely szerint a viselkedés optimálisnak (vagy közel optimálisnak) tűnik, majd a szabványos RL-t használja a házirend levezetéséhez. A motiváció az általánosítás – a tanult jutalom megragadja a viselkedés mögött meghúzódó okokat, így az ügynök értelmesen tud cselekedni olyan állapotokban, amelyekre a demonstráció soha nem terjedt ki, ellentétben a viselkedési klónozással, amely csak a cselekvéseket utánozza. A probléma alapvetően rosszul van felállítva: sok jutalmazási funkció magyarázza ugyanazt a viselkedést, beleértve a triviálisakat is. A kulcsfontosságú megközelítések feloldják ezt a kétértelműséget, beleértve a maximális haszonkulcsot biztosító módszereket, amelyek előnyben részesítik azt, hogy a szakértő egyértelműen a legjobb legyen, és a maximális entrópiájú IRL, amely az adatokkal összhangban álló, legkevésbé elkötelezett jutalomelosztást választja.
Autonóm járművek, amelyek az emberi vezetőkből következtetnek a vezetési preferenciákra (simaság, biztonsági határok).
A robotok megtanulják a feladatok céljait az emberi bemutatóktól az általánosításig az új elrendezésekig
Gyalogosok vagy állatok mozgásának modellezése a megfigyelt pályák mögötti célok visszanyerésével
Jutalomkövetkeztetés a mesterséges intelligencia összehangolásáért, az emberi értékek megtanulása a bizonyított döntésekből
Az IRL egyre inkább alátámasztja az igazodásért való jutalom tanulását: ahelyett, hogy az emberek kézzel kódolnák a jutalmakat, a rendszerek viselkedésből és visszajelzésekből következtetnek arra, hogy az emberek mit értékelnek. Szorosabb kapcsolatokra számíthat az emberi visszajelzésekből és preferenciák tanulásából, a nyelvi modellekre és a robotikai beállításokra való skálázással. A kutatások a nyers videóból és a részleges megfigyelésekből származó jutalmak visszaszerzésére törekednek, valamint olyan bizonyíthatóan azonosítható jutalmak felé, amelyek ellenállnak a mai módszereket sújtó jutalomhackelési és kétértelműségi problémáknak.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az inverz megerősítő tanulás (IRL) megfordítja a szabványos RL-t: jutalmazás és irányelv keresése helyett figyeli a szakértői viselkedést, és kikövetkeztet az azt magyarázó rejtett jutalmazási funkcióra. Ez azért fontos, mert a visszaszerzett jutalom sokkal jobban általánosítható új helyzetekre, mint a közvetlenül másolt cselekedetek.
Az IRL a demonstrációkat veszi bemenetként, és következtet arra a mögöttes jutalmazási függvényre, amely mellett a szakértő viselkedése optimálisnak tűnik.
Több jutalmazási funkció, köztük egy triviális, teljesen nulla jutalom is optimálissá teheti a megfigyelt viselkedést, így a jutalmat nem kizárólag a demonstrációk határozzák meg.
A jutalmazási függvény azt kódolja, hogy a szakértő miért cselekedett úgy, ahogyan tette, és hagyja, hogy a levezetett politika ésszerűen viselkedjen új állapotokban, míg a klónozás csak az adatokban látható műveleteket másolja.
A Max-entropy IRL feltételezi, hogy a magasabb jutalommal járó pályák exponenciálisan valószínűbbek, így egyedi célt ad, amely a tökéletlen, zajos szakértőket is elviseli.
Az IRL jutalmat állít elő, amelyet azután átad egy normál RL-algoritmusnak, hogy kiszámítsa az optimális irányelvet a kikövetkeztetett cél mellett.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Az emberi visszajelzésekből való tanulás megerősítése
Műszaki