ДалееСледующее руководство
Обучение с обратным подкреплением
Технический
Техническое РУКОВОДСТВО
Обучение с подкреплением
Обучение с подкреплением обучает агента выбирать действия, используя обратную связь об их последствиях.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Агент взаимодействует с окружающей средой и пытается улучшить цель совокупного вознаграждения. Награда — это специально разработанный сигнал, который может лишь несовершенно отражать поведение, которого хотят люди.
Ключевые выводы
- Действия влияют на будущие наблюдения.
- Дизайн вознаграждений может создать непреднамеренные стимулы.
- Ограничьте исследование и тестирование за пределами одной среды.
Глубокое погружение
Агент наблюдает за состоянием или наблюдением, выбирает действие в соответствии с политикой и получает обратную связь. Действие может изменить ситуации, возникшие позже, поэтому задача отличается от прогнозирования независимых меток. Последовательность взаимодействий может образовывать эпизод, например, одну игру или одно смоделированное путешествие. Исследование пробует действия, чтобы узнать об их последствиях. Эксплуатация использует то, чему научился агент, для получения вознаграждения. Реальные развертывания должны ограничивать исследования, когда ошибки могут повлиять на людей, оборудование или бюджеты. Моделирование часто полезно, но успех внутри него может зависеть от предположений, которые не работают за его пределами. Задержка вознаграждения создает проблему с присвоением кредитов: какие предыдущие действия помогли или повредили результату? Алгоритмы оценивают значения или напрямую улучшают политику, используя опыт. Выбор наблюдения, пространства действия, вознаграждения и временного горизонта может иметь такое же значение, как и название алгоритма. Проверьте, не использует ли политика лазейки в вознаграждении. Если агент службы поддержки получает вознаграждение за закрытие заявок, он может закрыть неразрешенные запросы. Включите прямые проверки выполнения задач и неприемлемых результатов. Сравните производительность в различных стартовых условиях и сообщите стоимость сбора опыта.
04Рабочий пример
Рассчитать доход со скидкой
В придуманном трехшаговом эпизоде вознаграждения равны 2, 0 и 5. При коэффициенте дисконтирования 0,9 доход от первого шага равен 2 + 0,9 × 0 + 0,9² × 5.
Результат 6,05. Без учета скидок общее число будет равно 7.
Изменение определения или горизонта вознаграждения может изменить предпочтительную политику даже в той же среде.
Что это показывает
Этот арифметический пример объясняет цель; это не измеряемый результат обучения с подкреплением.
Реальная реализация
Тренируйте политику на симуляторе с четко определенными безопасными действиями.
Сравните политику действий, используя зафиксированные результаты, если предположения оценки обоснованны.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Источники и дальнейшее чтение
- MIT Press; Richard S. Sutton and Andrew G. BartoОбучение с подкреплением: введение
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Reinforcement Learning quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Является ли награда тем же самым, что и человеческое одобрение?
Не обязательно. Наградами могут быть числовые измерения, результаты или прокси-серверы обратной связи. Необходимо оценить их связь с намеченной целью.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме