Вікторина, пов’язана з посібником · Середній Рівень

Імітаційна навчальна вікторина

Перевіряє поведінкове клонування, зміну розподілу, експертні демонстрації, агрегацію даних DAgger і обмеження за межами спостережуваних станів.

Пов'язані напрямні шляхиІмітаційне навчання
Питання 1 з 8

In imitation learning, how does an agent acquire its behavior?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. In imitation learning, how does an agent acquire its behavior?
    • Вивчення політики шляхом копіювання експертних демонстрацій
    • Максимізація винагороди, розробленої вручну, шляхом випадкового дослідження
    • Стиснення нейронної мережі для роботи на невеликих пристроях
    • Створення зображень із текстових підказок
  2. Поведінкове клонування створює імітаційне навчання як проблему?
    • Кластеризація без нагляду
    • Контрольоване навчання відображень стану до дії
    • Змагальне покоління
    • Формування винагороди
  3. Яка проблема викликає збій поведінкового клонування через довгі послідовності дій?
    • Переобладнання до функції винагороди
    • Зникнення градієнтів у кодері
    • Похибка компаундування від зсуву розподілу
    • Катастрофічне забуття старих класів
  4. Як алгоритм DAgger усуває цю слабкість?
    • Повністю вилучивши експерта з циклу
    • Збільшенням дисконтного коефіцієнта
    • Додаючи випадковий шум до всіх дій
    • Запитуючи експерта про стани, які учень фактично відвідує, і збираючи ці дані
  5. Чому для таких завдань, як водіння, часто надають перевагу імітаційному навчанню, а не навчанню з підкріпленням?
    • Демонстрації легше забезпечити, ніж правильну функцію винагороди
    • Це гарантує оптимальну поведінку
    • Він ніколи не потребує жодних даних
    • Він працює швидше лише за умови висновку
  6. What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
    • It is guaranteed to improve beyond the expert
    • Its behavior is not guaranteed there because those states may be out of distribution
    • It can only produce random actions
    • It automatically queries an expert at every step
  7. In one DAgger iteration, what does the learner do before requesting expert labels?
    • Deletes all earlier demonstrations
    • Trains only on randomly generated labels
    • Rolls out its current policy and records the states it actually visits
    • Replaces the expert policy permanently
  8. After the expert labels the states visited by the current policy, what happens to that data?
    • It is used only as an evaluation metric
    • It replaces the original observation space
    • It is discarded after one gradient step
    • It is aggregated with previous labeled data for retraining