Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Q-Learning

Ελέγχει τις τιμές Q, την εκμάθηση εκτός πολιτικής, τις ενημερώσεις Bellman, την εξερεύνηση, τις υποθέσεις σύγκλισης και γιατί η μάθηση Q είναι χωρίς μοντέλα.

Σχετικές διαδρομές οδηγώνQ Μάθηση
Ερώτηση 1 του 8

Τι αντιπροσωπεύει η Q-τιμή Q(s, a);

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι αντιπροσωπεύει η Q-τιμή Q(s, a);
    • Η αναμενόμενη μακροπρόθεσμη ανταμοιβή της ανάληψης δράσης a στην κατάσταση s, μετά τη βέλτιστη δράση
    • Η πιθανότητα να είσαι σε κατάσταση s
    • Πόσες φορές δοκιμάστηκε η ενέργεια a
    • Η άμεση ανταμοιβή μόνο για δράση α
  2. Γιατί το Q-Learning περιγράφεται ως «εκτός πολιτικής»;
    • Απαιτεί ένα μοντέλο του περιβάλλοντος
    • Μπορεί να μάθει τη βέλτιστη πολιτική ακολουθώντας μια διαφορετική, διερευνητική πολιτική
    • Λειτουργεί μόνο εκτός σύνδεσης σε αποθηκευμένα δεδομένα
    • Αγνοεί εντελώς τις ανταμοιβές
  3. Στον κανόνα ενημέρωσης, τι ελέγχει ο συντελεστής έκπτωσης γάμμα;
    • Το ποσοστό εξερεύνησης
    • Το μέγεθος του πίνακα κατάστασης
    • Πόσο σταθμίζονται οι μελλοντικές ανταμοιβές σε σχέση με τις άμεσες
    • Ο αριθμός των επεισοδίων
  4. Τι είναι το σφάλμα χρονικής διαφοράς (TD) στο Q-Learning;
    • Η διαφορά μεταξύ δύο κρατών
    • Η συνολική ανταμοιβή ενός επεισοδίου
    • Ο ρυθμός εκμάθησης επί γάμα
    • r + gamma*max Q(s',a') μείον την τρέχουσα εκτίμηση Q(s,a).
  5. Γιατί το απλό πίνακα Q-Learning αντιμετωπίζει μεγάλα προβλήματα όπως βιντεοπαιχνίδια από pixel;
    • Ο αριθμός των διακριτών καταστάσεων είναι πολύ μεγάλος για αποθήκευση σε έναν πίνακα
    • Δεν μπορεί να χρησιμοποιήσει ανταμοιβές
    • Λειτουργεί μόνο με δύο ενέργειες
    • Το γάμμα πρέπει να ισούται με 1
  6. Ποιος είναι ο σκοπός της επιλογής δράσης epsilon-greedy;
    • Για να επιλέγετε πάντα την υψηλότερη ενέργεια Q-value
    • Να εξισορροπήσει την εξερεύνηση νέων ενεργειών με την εκμετάλλευση γνωστών καλών
    • Για να ορίσετε τον συντελεστή έκπτωσης
    • Για να αποθηκεύσετε τον πίνακα Q
  7. What exploration condition appears in the tabular Q-learning convergence result?
    • Only the greedy action is ever sampled
    • Each state must be visited exactly once
    • Every state-action pair must be visited repeatedly under suitable learning conditions
    • The transition model must be known in advance
  8. Why is Q-learning called model-free?
    • It never observes the environment
    • It does not use rewards
    • It requires a complete transition table before learning
    • It updates values from sampled rewards and next states without storing transition probabilities