Викторина по обучению многоагентному подкреплению

Ответы и пояснения появляются по мере прохождения теста.

1. Что делает среду «нестационарной» с точки зрения одного агента в MARL?
   • Другие агенты одновременно изучают и меняют свою собственную политику.
   • Функция вознаграждения сбрасывается случайным образом в каждом эпизоде.
   • Пространство состояний неограниченно растет с течением времени
   • Датчики возвращают зашумленные данные
2. Что означает «централизованное обучение с децентрализованным исполнением» (CTDE)?
   • Агенты обучаются и работают на одном центральном сервере.
   • Общий критик использует глобальную информацию во время обучения, но агенты действуют на основе местных наблюдений при развертывании.
   • Один главный агент выдает команды всем остальным во время выполнения.
   • Данные обучения централизованы, но вознаграждения децентрализованы.
3. Какая математическая основа обобщает одноагентный MDP на несколько агентов?
   • Линейная программа
   • Скрытая марковская модель
   • Марковская игра (стохастическая игра)
   • Конечный автомат
4. Как обычно структурируется вознаграждение в условиях чисто кооперативного MARL?
   • Каждый агент максимизирует вознаграждение, которое является отрицательным по сравнению с вознаграждением другого агента.
   • Только самый быстрый агент получает вознаграждение
   • Награды распределяются случайным образом на каждом этапе
   • Агенты разделяют общее командное вознаграждение, которое они совместно максимизируют.
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. Почему «переуступка кредита» особенно трудна в кооперативном MARL?
   • Награды приходят мгновенно, и их легко отследить.
   • Трудно определить, какие действия агента способствовали общему командному результату.
   • Вознаграждение получает только один агент.
   • Агенты вообще не могут наблюдать никакого вознаграждения
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values