ДалееСледующее руководство
Автономное обучение с подкреплением
Технический
Техническое РУКОВОДСТВО
Обучение с имитацией учит ИИ выполнять задачу, копируя демонстрации экспертов, а не обучаясь методом проб и ошибок.
Прослушайте это руководствоОзвучено ИИ · ~2 min
It matters because for many real tasks — driving, surgery, manipulation — it is far easier to show good behavior than to write a reward function.
Обучение с имитацией тренирует политику на основе записанных примеров действий эксперта в окружающей среде, обычно пар наблюдений и действий, предпринятых экспертом. Самая простая форма — поведенческое клонирование — рассматривает это как простое обучение с учителем: предсказать действия эксперта с учетом состояния. Это привлекательно, когда вознаграждение трудно указать, но демонстраций много, как, например, в беспилотных автомобилях, обучаемых на рулевых бревнах человека, или в роботах, обучаемых посредством телеуправления. Классической слабостью является сдвиг распределения, или совокупная ошибка: крошечные ошибки прогнозирования толкают агента в состояния, в которых эксперт никогда не бывал, где он не имеет руководства и еще больше отклоняется от курса. Такие методы, как DAgger, исправляют это, неоднократно запрашивая эксперта о состояниях, которых фактически достигает обучающийся.
Модели восприятия и управления беспилотными автомобилями, обученные на основе регистрации вождения человека
Роботы-манипуляторы учатся складывать белье или складывать предметы в ходе телеуправляемых демонстраций
Игровые агенты загружаются на основе записанных человеческих повторов перед точной настройкой с помощью RL.
Хирургические и ассистивные роботы изучают движения на основе демонстраций опытных операторов.
Имитационное обучение играет центральную роль в развитии моделей робототехники, в которых единая политика обучается на огромных наборах данных многозадачного телеоперирования и адаптируется к новым навыкам. Ожидайте более тесного слияния языка и зрения, чтобы роботы имитировали видео или инструкции, а также гибриды, которые загружаются с помощью клонирования, а затем совершенствуются с помощью обучения с подкреплением. Дешевое масштабирование демонстрационной коллекции с помощью моделирования и краудсорсинга данных об играх остается ключевым узким местом и активным фронтом.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Обучение с имитацией учит ИИ выполнять задачу, копируя демонстрации экспертов, а не обучаясь методом проб и ошибок. Это важно, потому что для многих реальных задач — вождения, хирургии, манипуляций — гораздо проще продемонстрировать хорошее поведение, чем написать функцию вознаграждения.
Обучение с имитацией обучает агента воспроизводить поведение, демонстрируемое экспертами, а не обнаруживать поведение путем проб и ошибок, основанных на вознаграждении.
Поведенческое клонирование рассматривает демонстрации как маркированные данные и учится предсказывать действия эксперта для каждого наблюдаемого состояния, точно так же, как обучение с учителем.
Небольшие ошибки в действиях толкают агента в состояния, которые эксперт никогда не демонстрировал; без руководства ошибки накапливаются, и агент все дальше отклоняется от траектории эксперта.
DAgger разворачивает текущую политику, просит эксперта маркировать вновь посещенные состояния и повторно обучается на агрегированном наборе данных, чтобы данные обучения соответствовали собственному распределению состояний учащегося.
Для сложных реальных задач сложно написать вознаграждение, отражающее хорошее поведение, тогда как показать примеры хорошего поведения (журналы вождения людей) сравнительно легко.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Автономное обучение с подкреплением
Технический