DalšíDalší průvodce
Posílení učení z lidské zpětné vazby
Technický
Technický PRŮVODCE
Inverzní posilování učení (IRL) převrací standardní RL: místo toho, aby dostal odměnu a našel politiku, sleduje chování expertů a vyvozuje skrytou funkci odměny, která to vysvětluje.
Poslechněte si tento návodAI-vyprávěný · ~2 min
To je důležité, protože obnovená odměna se mnohem lépe zobecní na nové situace než přímo kopírované akce.
Inverzní posilovací učení se ptá: jaký cíl musel odborník sledovat, aby se choval tak, jak se choval? Given demonstrations, IRL recovers a reward function under which that behavior looks optimal (or near-optimal), then uses standard RL to derive a policy. The motivation is generalization — a learned reward captures the why behind behavior, so the agent can act sensibly in states the demonstrations never covered, unlike behavioral cloning which only mimics actions. Problém je v zásadě špatně položený: mnoho funkcí odměn vysvětluje stejné chování, včetně těch triviálních. Key approaches resolve this ambiguity, including maximum-margin methods that prefer rewards making the expert clearly best, and maximum-entropy IRL, which picks the least-committal reward distribution consistent with the data.
Autonomní vozidla odvozující preference řízení (plynulost, bezpečnostní rezervy) od lidských řidičů
Roboti se učí cíle úkolů od lidských demonstrací až po zobecnění do nových rozvržení
Modelování pohybu chodců nebo zvířat obnovením cílů za pozorovanými trajektoriemi
Odměna za sladění AI, učení se lidským hodnotám z demonstrovaných možností
IRL increasingly underpins reward learning for alignment: rather than humans hand-coding rewards, systems infer what people value from behavior and feedback. Očekávejte těsnější propojení s posilujícím učením od lidské zpětné vazby a učení preferencí, škálování na jazykový model a nastavení robotiky. Research is pushing toward recovering rewards from raw video and partial observations, and toward provably identifiable rewards that resist the reward-hacking and ambiguity problems that plague today's methods.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Inverse reinforcement learning (IRL) flips standard RL: instead of being given a reward and finding a policy, it watches expert behavior and infers the hidden reward function that explains it. To je důležité, protože získaná odměna se zobecňuje na nové situace mnohem lépe než přímo zkopírované akce.
IRL bere demonstrace jako vstup a odvozuje základní funkci odměny, podle níž se chování experta jeví jako optimální.
Více funkcí odměny, včetně triviální odměny s nulou, může učinit pozorované chování optimálním, takže odměna není jednoznačně určena pouze ukázkami.
Funkce odměny zakóduje, proč expert jednal tak, jak jednal, a nechá odvozenou politiku chovat se v nových stavech rozumně, zatímco klonování pouze kopíruje akce pozorované v datech.
Maximální entropie IRL předpokládá, že trajektorie vyšší odměny jsou exponenciálně pravděpodobnější, což poskytuje jedinečný cíl, který také toleruje nedokonalé, hlučné odborníky.
IRL vytváří odměnu, která je pak předána normálnímu RL algoritmu, aby vypočítal optimální politiku podle tohoto odvozeného cíle.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Posílení učení z lidské zpětné vazby
Technický