ΕπόμενοΕπόμενος οδηγός
Ενισχυτική μάθηση εκτός σύνδεσης
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Εκμάθηση Μίμησης
Η μάθηση μίμησης διδάσκει σε μια τεχνητή νοημοσύνη να εκτελεί μια εργασία αντιγράφοντας επιδείξεις ειδικών αντί να μαθαίνει από τις ανταμοιβές δοκιμής και λάθους.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Έχει σημασία γιατί για πολλές πραγματικές εργασίες - οδήγηση, χειρουργική επέμβαση, χειραγώγηση - είναι πολύ πιο εύκολο να δείξεις καλή συμπεριφορά παρά να γράψεις μια συνάρτηση ανταμοιβής.
Βαθιά κατάδυση
Η μάθηση μίμησης εκπαιδεύει μια πολιτική από καταγεγραμμένα παραδείγματα ενός ειδικού που ενεργεί σε ένα περιβάλλον, συνήθως ζεύγη παρατηρήσεων και τις ενέργειες που έκανε ο ειδικός. Η απλούστερη μορφή, η συμπεριφορική κλωνοποίηση, το αντιμετωπίζει ως απλή εποπτευόμενη μάθηση: προβλέψτε τη δράση του ειδικού δεδομένης της κατάστασης. Είναι ελκυστικό όταν οι ανταμοιβές είναι δύσκολο να προσδιοριστούν, αλλά οι επιδείξεις είναι άφθονες, όπως σε αυτοκίνητα αυτόνομης οδήγησης που έχουν εκπαιδευτεί σε ανθρώπινα κούτσουρα διεύθυνσης ή ρομπότ που διδάσκονται από τηλεχειρισμό. Η κλασική αδυναμία είναι η μετατόπιση διανομής ή το σύνθετο σφάλμα: μικροσκοπικά λάθη πρόβλεψης ωθούν τον πράκτορα σε καταστάσεις που δεν επισκέφτηκε ποτέ ο ειδικός, όπου δεν έχει καθοδήγηση και απομακρύνεται περισσότερο από την πορεία του. Μέθοδοι όπως το DAgger το διορθώνουν ρωτώντας επανειλημμένα τον ειδικό σχετικά με τις καταστάσεις στις οποίες πραγματικά φτάνει ο μαθητής.
Υλοποίηση σε πραγματικό κόσμο
Μοντέλα αυτοοδηγούμενων αυτοκινήτων από την αντίληψη προς το τιμόνι, εκπαιδευμένα στην οδήγηση καταγεγραμμένου ανθρώπου
Το ρομπότ οπλίζει μαθαίνοντας να διπλώνει ρούχα ή να στοιβάζει αντικείμενα από τηλεχειριζόμενες επιδείξεις
Πράκτορες παιχνιδιών που εκκινήθηκαν από εγγεγραμμένες ανθρώπινες επαναλήψεις πριν τελειοποιήσουν με το RL
Χειρουργικά και βοηθητικά ρομπότ εκμάθησης κινήσεων από επιδείξεις ειδικών χειριστή
Το Μέλλον της Εκμάθησης Μίμησης
Η εκμάθηση μίμησης είναι κεντρικής σημασίας για την άνοδο των μοντέλων θεμελίωσης ρομπότ, όπου μια ενιαία πολιτική εκπαιδεύεται σε τεράστια σύνολα δεδομένων τηλελειτουργίας πολλαπλών εργασιών και προσαρμόζεται με ακρίβεια για νέες δεξιότητες. Περιμένετε στενότερη σύντηξη με τη γλώσσα και την όραση, ώστε τα ρομπότ να μιμούνται από βίντεο ή οδηγίες, καθώς και υβρίδια που εκκινούν με κλωνοποίηση και, στη συνέχεια, τελειοποιούν μέσω της ενισχυτικής μάθησης. Η φθηνή κλιμάκωση της συλλογής επίδειξης, μέσω της προσομοίωσης και των δεδομένων ανθρώπινου παιχνιδιού με πλήθος, παραμένει το βασικό σημείο συμφόρησης και ενεργό σύνορο.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Imitation Learning quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η Εκμάθηση Μίμησης;
Η μάθηση μίμησης διδάσκει σε μια τεχνητή νοημοσύνη να εκτελεί μια εργασία αντιγράφοντας επιδείξεις ειδικών αντί να μαθαίνει από τις ανταμοιβές δοκιμής και λάθους. Έχει σημασία γιατί για πολλές πραγματικές εργασίες - οδήγηση, χειρουργική επέμβαση, χειραγώγηση - είναι πολύ πιο εύκολο να δείξετε καλή συμπεριφορά παρά να γράψετε μια συνάρτηση ανταμοιβής.
Στη μιμητική μάθηση, πώς αποκτά ένας πράκτορας τη συμπεριφορά του;
Η μάθηση μίμησης εκπαιδεύει έναν πράκτορα να αναπαράγει τη συμπεριφορά που εμφανίζεται σε επιδείξεις ειδικών αντί να ανακαλύπτει τη συμπεριφορά μέσω δοκιμών και σφαλμάτων που βασίζονται σε ανταμοιβή.
Η συμπεριφορική κλωνοποίηση πλαισιώνει τη μάθηση μίμησης ως ποιο είδος προβλήματος;
Η συμπεριφορική κλωνοποίηση αντιμετωπίζει τις επιδείξεις ως δεδομένα με ετικέτα και μαθαίνει να προβλέπει τη δράση του ειδικού για κάθε παρατηρούμενη κατάσταση, ακριβώς όπως η εποπτευόμενη μάθηση.
Ποιο πρόβλημα προκαλεί την αποτυχία της συμπεριφορικής κλωνοποίησης σε αλληλουχίες μακράς δράσης;
Μικρά σφάλματα δράσης ωθούν τον πράκτορα σε καταστάσεις που ο ειδικός δεν απέδειξε ποτέ. Χωρίς καθοδήγηση εκεί, συσσωρεύονται λάθη και ο πράκτορας απομακρύνεται περισσότερο από την τροχιά του ειδικού.
Πώς αντιμετωπίζει ο αλγόριθμος DAgger αυτήν την αδυναμία;
Το DAgger αναπτύσσει την τρέχουσα πολιτική, ορίζει τον ειδικό στις πολιτείες που επισκέφθηκε πρόσφατα και εκπαιδεύει εκ νέου στο συγκεντρωτικό σύνολο δεδομένων, ώστε τα δεδομένα εκπαίδευσης να ταιριάζουν με την κατανομή κατάστασης του ίδιου του εκπαιδευόμενου.
Γιατί η μάθηση μίμησης συχνά προτιμάται από την ενισχυτική μάθηση για εργασίες όπως η οδήγηση;
Για πολύπλοκες εργασίες στον πραγματικό κόσμο, η σύνταξη μιας ανταμοιβής που αποτυπώνει την καλή συμπεριφορά είναι δύσκολη, ενώ η εμφάνιση παραδειγμάτων καλής συμπεριφοράς (ανθρώπινα αρχεία καταγραφής οδήγησης) είναι σχετικά εύκολη.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα