Κουίζ μεθόδων ηθοποιού-κριτικού

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Σε μια μέθοδο Actor-Critic, ποιος είναι ο ρόλος του «κριτικού»;
   • Να εκτιμήσει την αξία των καταστάσεων (ή των ενεργειών) και να αξιολογήσει τις επιλογές του ηθοποιού
   • Για να επιλέξετε ποια ενέργεια θα κάνετε
   • Για να αποθηκεύσετε το buffer επανάληψης
   • Για να εξερευνήσετε τυχαία το περιβάλλον
2. Τι μετράει το «πλεονέκτημα» A(s,a) = Q(s,a) - V(s);
   • Η συνολική ανταμοιβή επεισοδίου
   • Πόσο καλύτερη είναι μια ενέργεια από τη μέση αξία του κράτους
   • Το ποσοστό μάθησης
   • Ο αριθμός των διαθέσιμων ενεργειών
3. Γιατί η προσθήκη ενός κριτικού μειώνει τη διακύμανση σε σύγκριση με μεθόδους καθαρής διαβάθμισης πολιτικής όπως το REINFORCE;
   • Αφαιρεί τις ανταμοιβές από την εξίσωση
   • Κάνει την πολιτική ντετερμινιστική
   • Ο κριτικός παρέχει μια γραμμή βάσης, επομένως οι ενημερώσεις χρησιμοποιούν ένα λιγότερο θορυβώδες σήμα πλεονεκτήματος
   • Αυξάνει τον συντελεστή έκπτωσης
4. Ποιες δυνατότητες έχουν οι μέθοδοι Actor-Critic που οι απλές μέθοδοι που βασίζονται σε αξία, όπως το Q-Learning, χειρίζονται αδέξια;
   • Διακριτές ενέργειες
   • Χρήση ανταμοιβών
   • Εκπτώσεις στο μέλλον
   • Χώροι συνεχούς δράσης
5. Ποιο από τα παρακάτω είναι αλγόριθμος βασισμένος σε Actor-Critic που χρησιμοποιείται ευρέως για RLHF σε μοντέλα γλώσσας;
   • PPO (Proximal Policy Optimization)
   • Κ-σημαίνει
   • Γραμμική παλινδρόμηση
   • Q-Learning
6. Τι σήμα χρησιμοποιεί συνήθως ο ηθοποιός για να ενημερώσει την πολιτική του;
   • Η ακατέργαστη είσοδος pixel
   • Το πλεονέκτημα ή το σφάλμα TD που παρέχεται από τον κριτικό
   • Το μέγεθος του buffer επανάληψης
   • Ένας σταθερός τυχαίος αριθμός
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline