Учебен тест за подсилване с множество агенти

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво прави средата „нестационарна“ от гледна точка на един агент в MARL?
   • Други агенти едновременно се учат и променят собствените си политики
   • Функцията за награда се нулира произволно всеки епизод
   • Пространството на състоянието нараства неограничено с времето
   • Сензорите връщат шумни наблюдения
2. Какво означава „централизирано обучение с децентрализирано изпълнение“ (CTDE)?
   • Агентите са обучени и работят на един централен сървър
   • Споделеният критик използва глобална информация по време на обучението, но агентите действат въз основа на местни наблюдения при внедряването
   • Един главен агент издава команди на всички останали по време на изпълнение
   • Данните за обучението са централизирани, но наградите са децентрализирани
3. Коя математическа рамка обобщава MDP с един агент за множество агенти?
   • Линейна програма
   • Скрит модел на Марков
   • Игра на Марков (стохастична игра)
   • Автомат с крайни състояния
4. В чисто кооперативна MARL среда, как обикновено е структурирано възнаграждението?
   • Всеки агент максимизира награда, която е отрицателна от тази на друг
   • Само най-бързият агент получава награда
   • Наградите се разпределят произволно на всяка стъпка
   • Агентите споделят обща екипна награда, която заедно максимизират
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. Защо „възлагането на кредит“ е особено трудно в кооперацията MARL?
   • Наградите пристигат мигновено и са лесни за проследяване
   • Трудно е да се определи действията на кой агент е допринесъл за резултата на споделен екип
   • Винаги има само един агент, който получава награда
   • Агентите не могат да наблюдават никакви награди
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values