ΕπόμενοΕπόμενος οδηγός
Ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Αντίστροφη Ενισχυτική Μάθηση
Η αντίστροφη μάθηση ενίσχυσης (IRL) ανατρέπει το πρότυπο RL: αντί να του δοθεί μια ανταμοιβή και να βρει μια πολιτική, παρακολουθεί τη συμπεριφορά των ειδικών και συνάγει την κρυφή συνάρτηση ανταμοιβής που την εξηγεί.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
This matters because a recovered reward generalizes to new situations far better than directly copied actions.
Βαθιά κατάδυση
Η αντίστροφη μάθηση ενίσχυσης ρωτά: ποιον στόχο πρέπει να επιδίωκε ένας ειδικός για να συμπεριφερθεί με τον τρόπο που συμπεριφέρθηκε; Λαμβάνοντας υπόψη τις επιδείξεις, το IRL ανακτά μια συνάρτηση ανταμοιβής σύμφωνα με την οποία αυτή η συμπεριφορά φαίνεται βέλτιστη (ή σχεδόν βέλτιστη) και στη συνέχεια χρησιμοποιεί την τυπική RL για να δημιουργήσει μια πολιτική. Το κίνητρο είναι η γενίκευση - μια μαθημένη ανταμοιβή καταγράφει το γιατί πίσω από τη συμπεριφορά, έτσι ώστε ο πράκτορας να μπορεί να ενεργεί λογικά σε καταστάσεις που δεν καλύπτονται ποτέ, σε αντίθεση με τη συμπεριφορική κλωνοποίηση που μιμείται μόνο ενέργειες. Το πρόβλημα είναι βασικά λανθασμένο: πολλές συναρτήσεις ανταμοιβής εξηγούν την ίδια συμπεριφορά, συμπεριλαμβανομένων των ασήμαντων. Οι βασικές προσεγγίσεις επιλύουν αυτήν την ασάφεια, συμπεριλαμβανομένων μεθόδων μέγιστου περιθωρίου που προτιμούν τις ανταμοιβές που καθιστούν τον ειδικό σαφώς καλύτερο και το IRL μέγιστης εντροπίας, που επιλέγει την κατανομή ανταμοιβής με τη μικρότερη δέσμευση σύμφωνα με τα δεδομένα.
Υλοποίηση σε πραγματικό κόσμο
Αυτόνομα οχήματα που συνάγουν προτιμήσεις οδήγησης (ομαλότητα, περιθώρια ασφαλείας) από ανθρώπους οδηγούς
Στόχοι εργασιών εκμάθησης ρομπότ από ανθρώπινες επιδείξεις για γενίκευση σε νέες διατάξεις
Μοντελοποίηση κίνησης πεζών ή ζώων με ανάκτηση των στόχων πίσω από τις παρατηρούμενες τροχιές
Συμπεράσματα ανταμοιβής για ευθυγράμμιση AI, εκμάθηση ανθρώπινων αξιών από αποδεδειγμένες επιλογές
Το Μέλλον της Αντίστροφης Ενισχυτικής Μάθησης
Το IRL υποστηρίζει όλο και περισσότερο την εκμάθηση ανταμοιβής για ευθυγράμμιση: αντί να κωδικοποιούν οι άνθρωποι τις ανταμοιβές με το χέρι, τα συστήματα συμπεραίνουν τι εκτιμούν οι άνθρωποι από τη συμπεριφορά και την ανατροφοδότηση. Αναμένετε στενότερους δεσμούς με την ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση και την εκμάθηση προτιμήσεων, την κλιμάκωση σε γλωσσικά μοντέλα και ρυθμίσεις ρομποτικής. Η έρευνα ωθεί προς την ανάκτηση ανταμοιβών από ακατέργαστα βίντεο και μερικές παρατηρήσεις και προς αποδεδειγμένα αναγνωρίσιμες ανταμοιβές που αντιστέκονται στα προβλήματα ανταμοιβής και ασάφειας που μαστίζουν τις σημερινές μεθόδους.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Inverse Reinforcement Learning quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Inverse Reinforcement Learning?
Η αντίστροφη μάθηση ενίσχυσης (IRL) ανατρέπει το πρότυπο RL: αντί να του δοθεί μια ανταμοιβή και να βρει μια πολιτική, παρακολουθεί τη συμπεριφορά των ειδικών και συνάγει την κρυφή συνάρτηση ανταμοιβής που την εξηγεί. Αυτό έχει σημασία επειδή μια ανταμοιβή που ανακτάται γενικεύεται σε νέες καταστάσεις πολύ καλύτερα από τις ενέργειες που αντιγράφονται απευθείας.
Τι στοχεύει στην ανάκτηση η αντίστροφη ενισχυτική μάθηση;
Το IRL λαμβάνει τις επιδείξεις ως είσοδο και συμπεραίνει την υποκείμενη συνάρτηση ανταμοιβής σύμφωνα με την οποία η συμπεριφορά του ειδικού φαίνεται βέλτιστη.
Γιατί το πρόβλημα IRL περιγράφεται ως άστοχο ή διφορούμενο;
Πολλαπλές συναρτήσεις ανταμοιβής, συμπεριλαμβανομένης μιας ασήμαντης ανταμοιβής όλων των μηδενικών, μπορούν να κάνουν την παρατηρούμενη συμπεριφορά βέλτιστη, επομένως η ανταμοιβή δεν καθορίζεται μοναδικά από επιδείξεις και μόνο.
Ποιο βασικό πλεονέκτημα έχει η ανάκτηση μιας ανταμοιβής έναντι της συμπεριφορικής κλωνοποίησης;
Μια συνάρτηση ανταμοιβής κωδικοποιεί γιατί ο ειδικός ενήργησε όπως έκανε, αφήνοντας την παράγωγη πολιτική να συμπεριφέρεται λογικά σε νέες καταστάσεις, ενώ η κλωνοποίηση αντιγράφει μόνο ενέργειες που εμφανίζονται στα δεδομένα.
Πώς επιλύει το IRL μέγιστης εντροπίας την ασάφεια της ανταμοιβής;
Η Max-entropy IRL υποθέτει ότι οι τροχιές υψηλότερης ανταμοιβής είναι εκθετικά πιο πιθανές, δίνοντας έναν μοναδικό στόχο που ανέχεται επίσης ατελείς, θορυβώδεις ειδικούς.
Αφού το IRL ανακτήσει μια συνάρτηση ανταμοιβής, τι γίνεται συνήθως μετά;
Το IRL παράγει μια ανταμοιβή, η οποία στη συνέχεια παραδίδεται σε έναν κανονικό αλγόριθμο RL για να υπολογίσει μια βέλτιστη πολιτική κάτω από αυτόν τον συναγόμενο στόχο.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα