Κουίζ Μίμησης Μάθησης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Στη μιμητική μάθηση, πώς αποκτά ένας πράκτορας τη συμπεριφορά του;
   • Εκμάθηση μιας πολιτικής αντιγράφοντας επιδείξεις ειδικών
   • Μεγιστοποίηση ανταμοιβής σχεδιασμένης με το χέρι μέσω τυχαίας εξερεύνησης
   • Συμπίεση ενός νευρωνικού δικτύου για λειτουργία σε μικρές συσκευές
   • Δημιουργία εικόνων από προτροπές κειμένου
2. Η συμπεριφορική κλωνοποίηση πλαισιώνει τη μάθηση μίμησης ως ποιο είδος προβλήματος;
   • Ομαδοποίηση χωρίς επίβλεψη
   • Εποπτευόμενη εκμάθηση των αντιστοιχίσεων κατάστασης σε δράση
   • Αντίπαλη γενιά
   • Διαμόρφωση ανταμοιβής
3. Ποιο πρόβλημα προκαλεί την αποτυχία της συμπεριφορικής κλωνοποίησης σε αλληλουχίες μακράς δράσης;
   • Υπερπροσαρμογή στη λειτουργία ανταμοιβής
   • Διαβαθμίσεις που εξαφανίζονται στον κωδικοποιητή
   • Σφάλμα σύνθεσης από τη μετατόπιση διανομής
   • Καταστροφική λήθη των παλιών τάξεων
4. Πώς αντιμετωπίζει ο αλγόριθμος DAgger αυτήν την αδυναμία;
   • Αφαιρώντας εντελώς τον ειδικό από τον βρόχο
   • Με την αύξηση του συντελεστή έκπτωσης
   • Προσθέτοντας τυχαίο θόρυβο σε όλες τις ενέργειες
   • Ζητώντας από τον εμπειρογνώμονα τις καταστάσεις, ο εκπαιδευόμενος επισκέπτεται πραγματικά και συγκεντρώνει αυτά τα δεδομένα
5. Γιατί η μάθηση μίμησης συχνά προτιμάται από την ενισχυτική μάθηση για εργασίες όπως η οδήγηση;
   • Οι επιδείξεις παρέχονται ευκολότερα από μια σωστή συνάρτηση ανταμοιβής
   • Εγγυάται τη βέλτιστη συμπεριφορά
   • Δεν χρειάζεται ποτέ δεδομένα
   • Λειτουργεί πιο γρήγορα μόνο στο συμπέρασμα
6. What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
   • It is guaranteed to improve beyond the expert
   • Its behavior is not guaranteed there because those states may be out of distribution
   • It can only produce random actions
   • It automatically queries an expert at every step
7. In one DAgger iteration, what does the learner do before requesting expert labels?
   • Deletes all earlier demonstrations
   • Trains only on randomly generated labels
   • Rolls out its current policy and records the states it actually visits
   • Replaces the expert policy permanently
8. After the expert labels the states visited by the current policy, what happens to that data?
   • It is used only as an evaluation metric
   • It replaces the original observation space
   • It is discarded after one gradient step
   • It is aggregated with previous labeled data for retraining