Κουίζ Εκμάθησης Ενίσχυσης πολλαπλών Πρακτόρων

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι κάνει το περιβάλλον «μη ακίνητο» από την οπτική γωνία ενός πράκτορα στο MARL;
   • Άλλοι πράκτορες μαθαίνουν και αλλάζουν ταυτόχρονα τις δικές τους πολιτικές
   • Η λειτουργία ανταμοιβής επαναφέρεται τυχαία σε κάθε επεισόδιο
   • Ο κρατικός χώρος μεγαλώνει χωρίς περιορισμούς με την πάροδο του χρόνου
   • Οι αισθητήρες επιστρέφουν θορυβώδεις παρατηρήσεις
2. Τι σημαίνει «κεντρική εκπαίδευση με αποκεντρωμένη εκτέλεση» (CTDE);
   • Οι πράκτορες εκπαιδεύονται και εκτελούνται σε έναν μόνο κεντρικό διακομιστή
   • Ένας κοινός κριτικός χρησιμοποιεί παγκόσμιες πληροφορίες κατά τη διάρκεια της εκπαίδευσης, αλλά οι πράκτορες ενεργούν σε τοπικές παρατηρήσεις κατά την ανάπτυξη
   • Ένας κύριος πράκτορας εκδίδει εντολές σε όλους τους άλλους κατά το χρόνο εκτέλεσης
   • Τα δεδομένα εκπαίδευσης είναι συγκεντρωμένα, αλλά οι ανταμοιβές είναι αποκεντρωμένες
3. Ποιο μαθηματικό πλαίσιο γενικεύει το MDP ενός παράγοντα σε πολλαπλούς πράκτορες;
   • Ένα γραμμικό πρόγραμμα
   • Ένα κρυφό μοντέλο Markov
   • Ένα παιχνίδι Markov (στοχαστικό παιχνίδι)
   • Ένα αυτόματο πεπερασμένης κατάστασης
4. Σε ένα καθαρά συνεργατικό περιβάλλον MARL, πώς δομείται συνήθως η ανταμοιβή;
   • Κάθε πράκτορας μεγιστοποιεί μια ανταμοιβή που είναι η αρνητική της ανταμοιβής ενός άλλου
   • Μόνο ο ταχύτερος πράκτορας λαμβάνει οποιαδήποτε ανταμοιβή
   • Οι ανταμοιβές απονέμονται τυχαία σε κάθε βήμα
   • Οι πράκτορες μοιράζονται μια κοινή ομαδική ανταμοιβή που από κοινού μεγιστοποιούν
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. Γιατί η «ανάθεση πίστωσης» είναι ιδιαίτερα δύσκολη στη συνεταιριστική MARL;
   • Οι ανταμοιβές φτάνουν αμέσως και είναι εύκολο να εντοπιστούν
   • Είναι δύσκολο να προσδιοριστεί ποιος πράκτορας συνέβαλε στο αποτέλεσμα μιας κοινής ομάδας
   • Υπάρχει μόνο ένας πράκτορας που λαμβάνει ανταμοιβή
   • Οι πράκτορες δεν μπορούν να παρατηρήσουν καμία απολύτως ανταμοιβή
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values