LegközelebbKövetkező útmutató
Offline megerősítéses tanulás
Műszaki
Műszaki ÚTMUTATÓ
Az imitációs tanulás megtanítja az MI-t a feladat végrehajtására úgy, hogy szakértői bemutatókat másol ahelyett, hogy a próba és hiba jutalmaiból tanulna.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It matters because for many real tasks — driving, surgery, manipulation — it is far easier to show good behavior than to write a reward function.
Az imitációs tanulás egy politikát képez a környezetben eljáró szakértő rögzített példáiból, jellemzően megfigyelésekből és a szakértő által végzett tevékenységekből. A legegyszerűbb forma, a viselkedési klónozás ezt egyszerű felügyelt tanulásként kezeli: előrejelzi a szakértő cselekvését az állapot függvényében. Tetszetős, amikor nehéz meghatározni a jutalmakat, de a bemutatók bőségesek, mint például az önvezető autókban, amelyek emberi kormányzási naplókon vannak kiképezve, vagy a távműködtetéssel tanított robotokon. A klasszikus gyengeség a disztribúció eltolódása vagy az összetett hiba: az apró előrejelzési hibák olyan állapotokba taszítják az ügynököt, ahol a szakértő soha nem járt, ahol nincs útmutatása, és tovább sodródik. Az olyan módszerek, mint a DAgger, javítják ezt azáltal, hogy ismételten lekérdezik a szakértőt azokról az állapotokról, amelyeket a tanuló ténylegesen elér.
Önvezető autók észlelése-kormányzási modelljei, amelyek a naplózott emberi vezetésre vannak kiképezve
A robotkarok megtanulják a ruha hajtogatását vagy a tárgyak egymásra rakását a távműködtetett bemutatókon
Játékügynökök, amelyeket felvett emberi visszajátszásokból indítanak el, mielőtt finomhangolnák az RL-t
A sebészeti és segítő robotok mozdulatokat tanulnak a szakértő kezelői bemutatókon
Az imitációs tanulás központi szerepet játszik a robotalap-modellek térnyerésében, ahol egyetlen irányelvet képeznek hatalmas, többfeladatos teleoperációs adatkészleteken, és finomhangolják az új készségekre. Szorosabb fúzióra számíthat a nyelvvel és a látásmóddal, hogy a robotok videókból vagy utasításokból utánozzanak, valamint olyan hibridek, amelyek klónozással bootstrapnak, majd megerősítő tanulással finomítják. Továbbra is a fő szűk keresztmetszet és az aktív határ a demonstrációs gyűjtemény olcsó bővítése, szimuláción és tömeges forrásból származó emberi játékadatokon keresztül.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az imitációs tanulás megtanítja az MI-t a feladat végrehajtására úgy, hogy szakértői bemutatókat másol ahelyett, hogy a próba és hiba jutalmaiból tanulna. Ez azért fontos, mert sok valódi feladatnál – vezetés, műtét, manipuláció – sokkal könnyebb jó magatartást tanúsítani, mint jutalomfüggvényt írni.
Az imitációs tanulás arra tanítja az ügynököt, hogy reprodukálja a szakértői bemutatókon mutatott viselkedést, ahelyett, hogy jutalom-vezérelt próba és hiba útján fedezze fel a viselkedést.
A viselkedési klónozás a demonstrációkat címkézett adatként kezeli, és megtanulja megjósolni a szakértő tevékenységét minden megfigyelt állapot esetén, pontosan úgy, mint a felügyelt tanulás.
Kis cselekvési hibák olyan állapotokba taszítják az ügynököt, amelyeket a szakértő soha nem mutatott be; ha nincs útmutatás, a hibák halmozódnak, és az ügynök tovább sodródik a szakértő pályájáról.
A DAgger bevezeti a jelenlegi szabályzatot, a szakértő megcímkézi az újonnan meglátogatott állapotokat, és újraképzi az összesített adatkészletet, hogy a képzési adatok megfeleljenek a tanuló saját állapoteloszlásának.
Összetett, valós feladatok esetén nehéz olyan jutalmat írni, amely a jó viselkedést tükrözi, míg a jó viselkedés példáinak bemutatása (emberi vezetési naplók) viszonylag egyszerű.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Offline megerősítéses tanulás
Műszaki