Викторина, связанная с руководством · Средний Уровень
Викторина по обучению имитации
Проверяет поведенческое клонирование, сдвиг распределения, экспертные демонстрации, агрегацию данных DAgger и ограничения за пределами наблюдаемых состояний.
Вопрос 1 из 8
Как агент приобретает свое поведение при имитационном обучении?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Как агент приобретает свое поведение при имитационном обучении?
- Изучение политики путем копирования демонстраций экспертов
- Максимизация награды, созданной вручную, посредством случайного исследования.
- Сжатие нейронной сети для работы на небольших устройствах
- Генерация изображений из текстовых подсказок
- Какую проблему представляет собой поведенческое клонирование?
- Неконтролируемая кластеризация
- Контролируемое обучение сопоставлению состояний с действиями
- Состязательное поколение
- Формирование вознаграждения
- Какая проблема приводит к сбою поведенческого клонирования при длительных последовательностях действий?
- Переоснащение функции вознаграждения
- Исчезающие градиенты в кодировщике
- Сложная ошибка из-за сдвига распределения
- Катастрофическое забывание старых занятий
- Как алгоритм DAgger устраняет эту слабость?
- Полностью удалив эксперта из цикла
- За счет увеличения коэффициента дисконтирования
- Добавляя случайный шум ко всем действиям
- Путем опроса эксперта о штатах, которые учащийся действительно посещает, и агрегирования этих данных.
- Почему для таких задач, как вождение, обучение с имитацией часто предпочтительнее обучения с подкреплением?
- Провести демонстрации легче, чем правильную функцию вознаграждения.
- Это гарантирует оптимальное поведение
- Ему никогда не нужны никакие данные
- Он работает быстрее только при выводе
- What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
- It is guaranteed to improve beyond the expert
- Its behavior is not guaranteed there because those states may be out of distribution
- It can only produce random actions
- It automatically queries an expert at every step
- In one DAgger iteration, what does the learner do before requesting expert labels?
- Deletes all earlier demonstrations
- Trains only on randomly generated labels
- Rolls out its current policy and records the states it actually visits
- Replaces the expert policy permanently
- After the expert labels the states visited by the current policy, what happens to that data?
- It is used only as an evaluation metric
- It replaces the original observation space
- It is discarded after one gradient step
- It is aggregated with previous labeled data for retraining