Тест за обучение по имитация

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. In imitation learning, how does an agent acquire its behavior?
   • Изучаване на политика чрез копиране на експертни демонстрации
   • Максимизиране на ръчно проектирана награда чрез произволно изследване
   • Компресиране на невронна мрежа за работа на малки устройства
   • Генериране на изображения от текстови подкани
2. Поведенческото клониране рамкира имитацията на обучение като какъв вид проблем?
   • Клъстериране без надзор
   • Наблюдавано обучение за картографиране на състояние-действие
   • Състезателно поколение
   • Оформяне на възнаграждение
3. Какъв проблем кара поведенческото клониране да се провали при дълги последователности от действия?
   • Пренастройване на функцията за възнаграждение
   • Изчезващи градиенти в енкодера
   • Комбинирана грешка от изместване на разпределението
   • Катастрофално забравяне на стари класове
4. Как алгоритъмът DAgger се справя с тази слабост?
   • Чрез пълно премахване на експерта от цикъла
   • Чрез увеличаване на коефициента на отстъпка
   • Чрез добавяне на произволен шум към всички действия
   • Чрез запитване към експерта за състояния, които обучаемият действително посещава, и обобщаване на тези данни
5. Защо обучението по имитация често се предпочита пред обучението за подсилване за задачи като шофиране?
   • Демонстрациите са по-лесни за предоставяне от правилната функция за възнаграждение
   • Гарантира оптимално поведение
   • Никога не се нуждае от никакви данни
   • Работи по-бързо само при извод
6. What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
   • It is guaranteed to improve beyond the expert
   • Its behavior is not guaranteed there because those states may be out of distribution
   • It can only produce random actions
   • It automatically queries an expert at every step
7. In one DAgger iteration, what does the learner do before requesting expert labels?
   • Deletes all earlier demonstrations
   • Trains only on randomly generated labels
   • Rolls out its current policy and records the states it actually visits
   • Replaces the expert policy permanently
8. After the expert labels the states visited by the current policy, what happens to that data?
   • It is used only as an evaluation metric
   • It replaces the original observation space
   • It is discarded after one gradient step
   • It is aggregated with previous labeled data for retraining