Κουίζ Ενίσχυσης Εκμάθησης εκτός Διαδικτύου

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι ορίζει την ενισχυτική μάθηση εκτός σύνδεσης (παρτίδας);
   • Εκμάθηση από ένα σταθερό σύνολο δεδομένων χωρίς αλληλεπίδραση νέου περιβάλλοντος
   • Μάθηση μόνο μέσω συνεχούς ζωντανής εξερεύνησης
   • Προπόνηση χωρίς κανένα σήμα ανταμοιβής
   • Εκτέλεση συμπερασμάτων χωρίς κανένα μοντέλο
2. Ποια είναι η κεντρική τεχνική πρόκληση στο RL εκτός σύνδεσης;
   • Έλλειψη οποιωνδήποτε στοιχείων
   • Μετατόπιση διανομής και υπερεκτίμηση των ενεργειών εκτός διανομής
   • Υπερβολική διαδικτυακή εξερεύνηση
   • Πολύ λίγες παράμετροι στο δίκτυο
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. Πώς το Conservative Q-Learning (CQL) καταπολεμά την υπερεκτίμηση;
   • Διογκώνοντας τιμές για αόρατες ενέργειες
   • Με την πλήρη κατάργηση της ανταμοιβής
   • Εξερευνώντας περισσότερα στον πραγματικό κόσμο
   • Ρυθμίζοντας τις τιμές Q προς τα κάτω για ενέργειες εκτός διανομής
5. Πώς αναπλαισιώνει το Decision Transformer το RL εκτός σύνδεσης;
   • Ως μοντελοποίηση ακολουθίας που προβλέπει ενέργειες που εξαρτώνται από την επιθυμητή απόδοση
   • Ως ομαδοποίηση κρατών
   • Ως καθαρή τυχαία αναζήτηση
   • Ως εποπτευόμενη ταξινόμηση εικόνων
6. Γιατί οι τυπικοί διαδικτυακοί αλγόριθμοι RL δεν μπορούν απλώς να χρησιμοποιηθούν ως έχουν εκτός σύνδεσης;
   • Δεν έχουν νευρωνικό δίκτυο
   • Δεν μπορούν να συλλέξουν διορθωτικά δεδομένα για να διορθώσουν την υπερεκτίμηση της αξίας
   • Ποτέ δεν χρησιμοποιούν ανταμοιβές
   • Δεν απαιτούν πολιτική
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions