VolgendeVolgende gids
Versterking van het leren van menselijke feedback
Technisch
Technische GIDS
Inverse Reinforcement Learning (IRL) draait de standaard RL om: in plaats van een beloning te krijgen en een beleid te vinden, kijkt het naar het gedrag van experts en leidt het de verborgen beloningsfunctie af die dit verklaart.
Luister naar deze gidsAI-verteld · ~2 min
This matters because a recovered reward generalizes to new situations far better than directly copied actions.
Inverse bekrachtigingsleren vraagt: welk doel moet een expert hebben nagestreefd om zich te gedragen zoals hij of zij deed? Gegeven demonstraties herstelt IRL een beloningsfunctie waarbij dat gedrag er optimaal (of bijna optimaal) uitziet, en gebruikt vervolgens standaard RL om een beleid af te leiden. De motivatie is generalisatie: een aangeleerde beloning legt het waarom achter gedrag vast, zodat de agent verstandig kan handelen in toestanden waar de demonstraties nooit aan bod kwamen, in tegenstelling tot gedragsklonen dat alleen acties nabootst. Het probleem is fundamenteel slecht gesteld: veel beloningsfuncties verklaren hetzelfde gedrag, ook triviale. Belangrijke benaderingen lossen deze dubbelzinnigheid op, waaronder methoden met maximale marge die de voorkeur geven aan beloningen waardoor de expert duidelijk de beste is, en maximale entropie IRL, die de beloningsverdeling met de minste betrokkenheid kiest die consistent is met de gegevens.
Autonome voertuigen die rijvoorkeuren (soepelheid, veiligheidsmarges) afleiden van menselijke bestuurders
Robots leren taakdoelstellingen van menselijke demonstraties om te generaliseren naar nieuwe lay-outs
Modelleren van bewegingen van voetgangers of dieren door de doelen achter waargenomen trajecten te achterhalen
Beloon gevolgtrekkingen voor AI-afstemming, het leren van menselijke waarden uit gedemonstreerde keuzes
IRL ondersteunt steeds meer het leren van beloningen voor afstemming: in plaats van dat mensen beloningen met de hand coderen, leiden systemen af wat mensen waarderen uit gedrag en feedback. Verwacht nauwere banden met versterkend leren van menselijke feedback en leren van voorkeuren, opschaling naar taalmodellen en robotica-instellingen. Onderzoek streeft naar het terugwinnen van beloningen uit onbewerkte videobeelden en gedeeltelijke observaties, en naar aantoonbaar identificeerbare beloningen die weerstand bieden aan de problemen met het hacken van beloningen en de dubbelzinnigheidsproblemen waar de huidige methoden mee kampen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Inverse Reinforcement Learning (IRL) draait de standaard RL om: in plaats van een beloning te krijgen en een beleid te vinden, kijkt het naar het gedrag van experts en leidt het de verborgen beloningsfunctie af die dit verklaart. Dit is van belang omdat een herstelde beloning veel beter generaliseert naar nieuwe situaties dan direct gekopieerde acties.
IRL neemt demonstraties als input en leidt hieruit de onderliggende beloningsfunctie af waaronder het gedrag van de expert optimaal lijkt.
Meerdere beloningsfuncties, waaronder een triviale beloning van nul, kunnen het waargenomen gedrag optimaal maken, zodat de beloning niet op unieke wijze wordt bepaald door demonstraties alleen.
Een beloningsfunctie codeert waarom de expert handelde zoals hij deed, waardoor het afgeleide beleid zich verstandig gedraagt in nieuwe staten, terwijl het klonen alleen de acties kopieert die in de gegevens worden gezien.
Max-entropy IRL gaat ervan uit dat trajecten met hogere beloningen exponentieel waarschijnlijker zijn, wat een uniek doel oplevert dat ook imperfecte, luidruchtige experts tolereert.
IRL levert een beloning op, die vervolgens wordt overhandigd aan een normaal RL-algoritme om een optimaal beleid te berekenen onder dat afgeleide doel.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Versterking van het leren van menselijke feedback
Technisch