Műszaki ÚTMUTATÓ

Inverz megerősítéses tanulás

Az inverz megerősítő tanulás (IRL) megfordítja a szabványos RL-t: jutalmazás és irányelv keresése helyett figyeli a szakértői viselkedést, és kikövetkeztet az azt magyarázó rejtett jutalmazási funkcióra.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az inverz megerősítéses tanulás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert a visszaszerzett jutalom sokkal jobban általánosít új helyzetekre, mint a közvetlenül másolt cselekedetek.

Mély merülés

Az inverz megerősítő tanulás azt kérdezi: milyen célt kell követnie egy szakértőnek, hogy úgy viselkedjen, ahogyan tette? A demonstrációk alapján az IRL visszaállít egy jutalmazási függvényt, amely szerint a viselkedés optimálisnak (vagy közel optimálisnak) tűnik, majd a szabványos RL-t használja a házirend levezetéséhez. A motiváció az általánosítás – a tanult jutalom megragadja a viselkedés mögött meghúzódó okokat, így az ügynök értelmesen tud cselekedni olyan állapotokban, amelyekre a demonstráció soha nem terjedt ki, ellentétben a viselkedési klónozással, amely csak a cselekvéseket utánozza. A probléma alapvetően rosszul van felállítva: sok jutalmazási funkció magyarázza ugyanazt a viselkedést, beleértve a triviálisakat is. A kulcsfontosságú megközelítések feloldják ezt a kétértelműséget, beleértve a maximális haszonkulcsot biztosító módszereket, amelyek előnyben részesítik azt, hogy a szakértő egyértelműen a legjobb legyen, és a maximális entrópiájú IRL, amely az adatokkal összhangban álló, legkevésbé elkötelezett jutalomelosztást választja.

Valós megvalósítás

Autonóm járművek, amelyek az emberi vezetőkből következtetnek a vezetési preferenciákra (simaság, biztonsági határok).

A robotok megtanulják a feladatok céljait az emberi bemutatóktól az általánosításig az új elrendezésekig

Gyalogosok vagy állatok mozgásának modellezése a megfigyelt pályák mögötti célok visszanyerésével

Jutalomkövetkeztetés a mesterséges intelligencia összehangolásáért, az emberi értékek megtanulása a bizonyított döntésekből

Az inverz megerősítéses tanulás jövője

Az IRL egyre inkább alátámasztja az igazodásért való jutalom tanulását: ahelyett, hogy az emberek kézzel kódolnák a jutalmakat, a rendszerek viselkedésből és visszajelzésekből következtetnek arra, hogy az emberek mit értékelnek. Szorosabb kapcsolatokra számíthat az emberi visszajelzésekből és preferenciák tanulásából, a nyelvi modellekre és a robotikai beállításokra való skálázással. A kutatások a nyers videóból és a részleges megfigyelésekből származó jutalmak visszaszerzésére törekednek, valamint olyan bizonyíthatóan azonosítható jutalmak felé, amelyek ellenállnak a mai módszereket sújtó jutalomhackelési és kétértelműségi problémáknak.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Inverse Reinforcement Learning quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az inverz megerősítéses tanulás?

Az inverz megerősítő tanulás (IRL) megfordítja a szabványos RL-t: jutalmazás és irányelv keresése helyett figyeli a szakértői viselkedést, és kikövetkeztet az azt magyarázó rejtett jutalmazási funkcióra. Ez azért fontos, mert a visszaszerzett jutalom sokkal jobban általánosítható új helyzetekre, mint a közvetlenül másolt cselekedetek.

Mi az inverz megerősítéses tanulás célja a helyreállítás?

Az IRL a demonstrációkat veszi bemenetként, és következtet arra a mögöttes jutalmazási függvényre, amely mellett a szakértő viselkedése optimálisnak tűnik.

Miért írják le rosszul megfogalmazottnak vagy kétértelműnek az IRL-problémát?

Több jutalmazási funkció, köztük egy triviális, teljesen nulla jutalom is optimálissá teheti a megfigyelt viselkedést, így a jutalmat nem kizárólag a demonstrációk határozzák meg.

Milyen kulcsfontosságú előnye van a jutalom visszaszerzésének a viselkedési klónozáshoz képest?

A jutalmazási függvény azt kódolja, hogy a szakértő miért cselekedett úgy, ahogyan tette, és hagyja, hogy a levezetett politika ésszerűen viselkedjen új állapotokban, míg a klónozás csak az adatokban látható műveleteket másolja.

Hogyan oldja meg a maximális entrópiájú IRL a jutalom kétértelműségét?

A Max-entropy IRL feltételezi, hogy a magasabb jutalommal járó pályák exponenciálisan valószínűbbek, így egyedi célt ad, amely a tökéletlen, zajos szakértőket is elviseli.

Miután az IRL visszanyerte a jutalmazási funkciót, mi a következő lépés?

Az IRL jutalmat állít elő, amelyet azután átad egy normál RL-algoritmusnak, hogy kiszámítsa az optimális irányelvet a kikövetkeztetett cél mellett.