Викторина, связанная с руководством · Средний Уровень

Викторина по обучению имитации

Проверяет поведенческое клонирование, сдвиг распределения, экспертные демонстрации, агрегацию данных DAgger и ограничения за пределами наблюдаемых состояний.

Связанные направляющие путиИмитационное обучение
Вопрос 1 из 8

Как агент приобретает свое поведение при имитационном обучении?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Как агент приобретает свое поведение при имитационном обучении?
    • Изучение политики путем копирования демонстраций экспертов
    • Максимизация награды, созданной вручную, посредством случайного исследования.
    • Сжатие нейронной сети для работы на небольших устройствах
    • Генерация изображений из текстовых подсказок
  2. Какую проблему представляет собой поведенческое клонирование?
    • Неконтролируемая кластеризация
    • Контролируемое обучение сопоставлению состояний с действиями
    • Состязательное поколение
    • Формирование вознаграждения
  3. Какая проблема приводит к сбою поведенческого клонирования при длительных последовательностях действий?
    • Переоснащение функции вознаграждения
    • Исчезающие градиенты в кодировщике
    • Сложная ошибка из-за сдвига распределения
    • Катастрофическое забывание старых занятий
  4. Как алгоритм DAgger устраняет эту слабость?
    • Полностью удалив эксперта из цикла
    • За счет увеличения коэффициента дисконтирования
    • Добавляя случайный шум ко всем действиям
    • Путем опроса эксперта о штатах, которые учащийся действительно посещает, и агрегирования этих данных.
  5. Почему для таких задач, как вождение, обучение с имитацией часто предпочтительнее обучения с подкреплением?
    • Провести демонстрации легче, чем правильную функцию вознаграждения.
    • Это гарантирует оптимальное поведение
    • Ему никогда не нужны никакие данные
    • Он работает быстрее только при выводе
  6. What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
    • It is guaranteed to improve beyond the expert
    • Its behavior is not guaranteed there because those states may be out of distribution
    • It can only produce random actions
    • It automatically queries an expert at every step
  7. In one DAgger iteration, what does the learner do before requesting expert labels?
    • Deletes all earlier demonstrations
    • Trains only on randomly generated labels
    • Rolls out its current policy and records the states it actually visits
    • Replaces the expert policy permanently
  8. After the expert labels the states visited by the current policy, what happens to that data?
    • It is used only as an evaluation metric
    • It replaces the original observation space
    • It is discarded after one gradient step
    • It is aggregated with previous labeled data for retraining