Αντίστροφη Ενίσχυση Μάθησης Κουίζ

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι στοχεύει στην ανάκτηση η αντίστροφη ενισχυτική μάθηση;
   • Μια συνάρτηση ανταμοιβής που εξηγεί την παρατηρούμενη συμπεριφορά των ειδικών
   • Ένας ταχύτερος βελτιστοποιητής για κλίση κατάβασης
   • Μια συμπιεσμένη έκδοση των διαδηλώσεων
   • Ένα σύνολο δεδομένων εικόνας με ετικέτα
2. Γιατί το πρόβλημα IRL περιγράφεται ως άστοχο ή διφορούμενο;
   • Γιατί οι επιδείξεις είναι πάντα τέλεια
   • Επειδή πολλές διαφορετικές συναρτήσεις ανταμοιβής μπορούν να εξηγήσουν την ίδια συμπεριφορά
   • Γιατί οι ανταμοιβές πρέπει να είναι πάντα αρνητικές
   • Επειδή δεν απαιτεί δεδομένα ειδικού
3. Ποιο βασικό πλεονέκτημα έχει η ανάκτηση μιας ανταμοιβής έναντι της συμπεριφορικής κλωνοποίησης;
   • Δεν χρειάζεται επιδείξεις
   • Λειτουργεί πάντα σε σταθερό χρόνο
   • Καταγράφει τον υποκείμενο στόχο, γενικεύοντας σε αόρατες καταστάσεις
   • Αποφεύγει τη χρήση οποιασδήποτε πολιτικής
4. Πώς επιλύει το IRL μέγιστης εντροπίας την ασάφεια της ανταμοιβής;
   • Αναγκάζοντας όλες τις ανταμοιβές να είναι ίσες
   • Αγνοώντας εντελώς τις μη βέλτιστες τροχιές
   • Με την κατάργηση της συνάρτησης ανταμοιβής
   • Με τη μοντελοποίηση της πιθανότητας τροχιάς ως εκθετική σε συνολική ανταμοιβή
5. Αφού το IRL ανακτήσει μια συνάρτηση ανταμοιβής, τι γίνεται συνήθως μετά;
   • Η τυπική ενισχυτική μάθηση αντλεί μια πολιτική από αυτήν την ανταμοιβή
   • Η ανταμοιβή απορρίπτεται
   • Οι επιδείξεις διαγράφονται για εξοικονόμηση χώρου
   • Ο πράκτορας σταματά να μαθαίνει
6. Σε ποιο σενάριο είναι ιδιαίτερα χρήσιμο το IRL;
   • Όταν η ανταμοιβή είναι ήδη απολύτως γνωστή
   • Όταν θέλετε να κατανοήσετε και να γενικεύσετε τους στόχους πίσω από τη συμπεριφορά των ειδικών
   • Όταν δεν υπάρχουν δεδομένα συμπεριφοράς
   • Όταν χρειάζεται να απομνημονεύσετε μόνο σταθερές ενέργειες
7. Why can a constant zero reward explain many different expert policies?
   • It assigns the highest reward only to expert actions
   • It proves the expert is optimal
   • Every policy receives the same return, so none is preferred by the reward
   • It makes the transition model deterministic
8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
   • They are assigned probability zero
   • They are treated as equally likely regardless of reward
   • They are removed before policy learning
   • They receive higher probability, with probability depending exponentially on total reward