Als nächstesNächster Leitfaden
Verstärkung des Lernens aus menschlichem Feedback
Technisch
Technischer Leitfaden
Inverses Verstärkungslernen (Inverse Reinforcement Learning, IRL) stellt das Standard-RL um: Anstatt eine Belohnung zu erhalten und eine Richtlinie zu finden, beobachtet es das Verhalten von Experten und leitet daraus die versteckte Belohnungsfunktion ab, die es erklärt.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
This matters because a recovered reward generalizes to new situations far better than directly copied actions.
Inverse Reinforcement Learning stellt die Frage: Welches Ziel muss ein Experte verfolgt haben, um sich so zu verhalten, wie er es getan hat? Anhand von Demonstrationen stellt IRL eine Belohnungsfunktion wieder her, unter der dieses Verhalten optimal (oder nahezu optimal) aussieht, und verwendet dann Standard-RL, um eine Richtlinie abzuleiten. Die Motivation ist die Verallgemeinerung – eine erlernte Belohnung erfasst das Warum hinter dem Verhalten, sodass der Agent in Zuständen, die in den Demonstrationen nie abgedeckt wurden, vernünftig handeln kann, im Gegensatz zum Verhaltensklonen, das nur Handlungen nachahmt. Das Problem ist grundsätzlich falsch gestellt: Viele Belohnungsfunktionen erklären das gleiche Verhalten, auch triviale. Schlüsselansätze lösen diese Unklarheit, einschließlich Methoden mit maximaler Marge, die Belohnungen bevorzugen, die den Experten eindeutig zum Besten machen, und IRL mit maximaler Entropie, die die am wenigsten bindende Belohnungsverteilung im Einklang mit den Daten auswählt.
Autonome Fahrzeuge, die Fahrpräferenzen (Glätte, Sicherheitsmargen) von menschlichen Fahrern ableiten
Roboter lernen Aufgabenziele aus menschlichen Demonstrationen, um sie auf neue Layouts zu übertragen
Modellierung der Bewegung von Fußgängern oder Tieren durch Wiederherstellung der Ziele hinter beobachteten Trajektorien
Belohnungsschlussfolgerung für die KI-Ausrichtung, Erlernen menschlicher Werte aus demonstrierten Entscheidungen
IRL unterstützt zunehmend das Belohnungslernen zur Ausrichtung: Anstatt Belohnungen von Hand zu codieren, leiten Systeme aus Verhalten und Feedback ab, was Menschen wertschätzen. Erwarten Sie engere Verbindungen mit verstärkendem Lernen aus menschlichem Feedback und Präferenzlernen sowie einer Skalierung auf Sprachmodell- und Robotikeinstellungen. Die Forschung strebt danach, Belohnungen aus Rohvideos und Teilbeobachtungen wiederherzustellen und nachweislich identifizierbare Belohnungen zu schaffen, die dem Belohnungs-Hacking und den Mehrdeutigkeitsproblemen standhalten, mit denen die heutigen Methoden zu kämpfen haben.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Inverses Verstärkungslernen (Inverse Reinforcement Learning, IRL) stellt das Standard-RL um: Anstatt eine Belohnung zu erhalten und eine Richtlinie zu finden, beobachtet es das Verhalten von Experten und leitet daraus die versteckte Belohnungsfunktion ab, die es erklärt. Dies ist wichtig, da sich eine wiederhergestellte Belohnung weitaus besser auf neue Situationen übertragen lässt als direkt kopierte Aktionen.
IRL nimmt Demonstrationen als Input und leitet daraus die zugrunde liegende Belohnungsfunktion ab, unter der das Verhalten des Experten optimal erscheint.
Mehrere Belohnungsfunktionen, einschließlich einer trivialen Null-Belohnung, können das beobachtete Verhalten optimal machen, sodass die Belohnung nicht allein durch Demonstrationen eindeutig bestimmt wird.
Eine Belohnungsfunktion kodiert, warum der Experte so gehandelt hat, und sorgt dafür, dass sich die abgeleitete Richtlinie in neuen Zuständen sinnvoll verhält, während beim Klonen nur die in den Daten sichtbaren Aktionen kopiert werden.
Max-Entropy IRL geht davon aus, dass Trajektorien mit höherer Belohnung exponentiell wahrscheinlicher sind, was ein einzigartiges Ziel ergibt, das auch unvollkommene, laute Experten toleriert.
IRL erzeugt eine Belohnung, die dann an einen normalen RL-Algorithmus übergeben wird, um eine optimale Richtlinie für dieses abgeleitete Ziel zu berechnen.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Verstärkung des Lernens aus menschlichem Feedback
Technisch