ΕπόμενοΕπόμενος οδηγός
Προγραμματισμός Ρυθμού Μάθησης
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Q-Learning
Το Q-Learning είναι ένας αλγόριθμος ενίσχυσης μάθησης που διδάσκει σε έναν πράκτορα ποιες ενέργειες αποδίδουν καλύτερα μαθαίνοντας σταδιακά την αξία κάθε κίνησης μέσω δοκιμής και λάθους.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Έχει σημασία γιατί μπορεί να βρει τη βέλτιστη συμπεριφορά χωρίς να του ειπωθούν ποτέ οι κανόνες του περιβάλλοντός του.
Βαθιά κατάδυση
Το Q-Learning μαθαίνει μια συνάρτηση που ονομάζεται Q(s, a): την αναμενόμενη μακροπρόθεσμη ανταμοιβή της ανάληψης δράσης «a» στην κατάσταση «s» και μετά τη βέλτιστη δράση. Ο πράκτορας αρχίζει να μην ξέρει τίποτα, δοκιμάζει ενέργειες και παρατηρεί ανταμοιβές. Μετά από κάθε βήμα ωθεί την εκτίμηση της τιμής Q προς την ανταμοιβή που μόλις έλαβε συν την καλύτερη μειωμένη μελλοντική αξία που αναμένει από την επόμενη κατάσταση. Το σημαντικότερο είναι ότι είναι «εκτός πολιτικής» και «χωρίς μοντέλα»: μπορεί να μάθει την καλύτερη πολιτική ενώ εξερευνά τυχαία και δεν χρειάζεται ποτέ ένα μοντέλο για το πώς μεταβαίνει ο κόσμος. Με αρκετή εξερεύνηση κάθε ζεύγους κατάστασης-ενέργειας, οι τιμές Q συγκλίνουν αποδεδειγμένα στις βέλτιστες τιμές και η καλύτερη ενέργεια σε οποιαδήποτε κατάσταση είναι απλώς αυτή με το υψηλότερο Q.
Υλοποίηση σε πραγματικό κόσμο
Πράκτορες παιχνιδιών Atari (DeepMind's DQN) που μαθαίνουν να παίζουν Breakout και Pong απευθείας από τα pixel της οθόνης
Βελτιστοποίηση του χρονισμού των φωτεινών σηματοδοτών στις διασταυρώσεις για την ελαχιστοποίηση του συνολικού χρόνου αναμονής του οχήματος
Πλοήγηση ρομπότ μέσα από ένα πλέγμα ή λαβύρινθο όπου το ρομπότ μαθαίνει τη συντομότερη διαδρομή μεγιστοποίησης ανταμοιβής
Δυναμικές αποφάσεις τιμολόγησης και αποθέματος όπου ένας πράκτορας μαθαίνει ποιες ενέργειες μεγιστοποιούν το μακροπρόθεσμο κέρδος
Το μέλλον της Q-Learning
Ο κλασικός πίνακας Q-Learning δυσκολεύεται όταν οι καταστάσεις είναι πάρα πολλές για να αποθηκευτούν σε έναν πίνακα. Η κυρίαρχη κατεύθυνση είναι ο συνδυασμός του με νευρωνικά δίκτυα, όπως στα Deep Q-Networks (DQN), τα οποία προσεγγίζουν τις τιμές Q από ακατέργαστες εισόδους όπως τα pixel. Η έρευνα συνεχίζεται για τη σταθεροποίηση αυτού με επανάληψη εμπειρίας, δίκτυα στόχων και παραλλαγές όπως το Double DQN και η διανομή Q-Learning που μειώνουν την προκατάληψη υπερεκτίμησης και αντιπροσωπεύουν κατανομές πλήρους απόδοσης αντί για μεμονωμένους μέσους όρους.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Q-Learning quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το Q-Learning;
Το Q-Learning είναι ένας αλγόριθμος ενίσχυσης μάθησης που διδάσκει σε έναν πράκτορα ποιες ενέργειες αποδίδουν καλύτερα μαθαίνοντας σταδιακά την αξία κάθε κίνησης μέσω δοκιμής και λάθους. Έχει σημασία γιατί μπορεί να βρει τη βέλτιστη συμπεριφορά χωρίς να του ειπωθούν ποτέ οι κανόνες του περιβάλλοντός του.
Τι αντιπροσωπεύει η Q-τιμή Q(s, a);
Το Q(s, a) υπολογίζει τη συνολική προεξοφλημένη μελλοντική ανταμοιβή από την ανάληψη δράσης α στην κατάσταση s και τη βέλτιστη συμπεριφορά στη συνέχεια, όχι μόνο την άμεση ανταμοιβή.
Γιατί το Q-Learning περιγράφεται ως «εκτός πολιτικής»;
Το μέγιστο σε σχέση με τις επόμενες ενέργειες σημαίνει ότι το Q-Learning μαθαίνει την αξία της άπληστης βέλτιστης πολιτικής ακόμα και όταν ο πράκτορας εξερευνά με διαφορετική πολιτική συμπεριφοράς.
Στον κανόνα ενημέρωσης, τι ελέγχει ο συντελεστής έκπτωσης γάμμα;
Gamma (μεταξύ 0 και 1) εκπτώσεις σε μελλοντικές ανταμοιβές. Οι τιμές κοντά στο 1 κάνουν τον πράκτορα διορατικό, οι τιμές κοντά στο 0 τον καθιστούν κοντόφθαλμο.
Τι είναι το σφάλμα χρονικής διαφοράς (TD) στο Q-Learning;
Το σφάλμα TD είναι το χάσμα μεταξύ της νέας εκτίμησης στόχου (ανταμοιβή συν την καλύτερη προεξοφλημένη μελλοντική αξία) και την παλιά εκτίμηση Q. η ενημέρωση μειώνει αυτό το κενό.
Γιατί το απλό πίνακα Q-Learning αντιμετωπίζει μεγάλα προβλήματα όπως βιντεοπαιχνίδια από pixel;
Ένας πίνακας αναζήτησης χρειάζεται μια καταχώρηση ανά ζεύγος κατάστασης-ενέργειας, κάτι που είναι ανέφικτο όταν οι καταστάσεις αριθμούνται σε δισεκατομμύρια, παρακινώντας προσεγγιστές νευρωνικών δικτύων όπως το DQN.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα