ДаліНаступний посібник
Планування темпів навчання
технічний
Технічний КЕРІВНИЦТВО
Q-навчання
Q-Learning — це алгоритм навчання з підкріпленням, який навчає агента, які дії окупаються найкраще, шляхом поступового вивчення цінності кожного кроку методом проб і помилок.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Це важливо, тому що він може знайти оптимальну поведінку, навіть не дізнавшись про правила свого середовища.
Глибоке занурення
Q-Learning вивчає функцію під назвою Q(s, a): очікувана довгострокова винагорода за виконання дії «a» у стані «», а потім оптимальні дії після цього. Агент починає нічого не знати, пробує дії та спостерігає за винагородами. Після кожного кроку він підштовхує свою оцінку Q-value до щойно отриманої винагороди плюс найкращої зниженої майбутньої вартості, яку він очікує від наступного стану. Важливо те, що він «поза політикою» і «без моделей»: він може вивчати найкращу політику під час випадкового дослідження, і йому ніколи не потрібна модель того, як змінюється світ. При достатньому дослідженні кожної пари стан-дія, значення Q доведено збігаються до оптимальних значень, і найкращою дією в будь-якому стані є просто дія з найвищим Q.
Реалізація в реальному світі
Ігрові агенти Atari (DQN DeepMind) навчаються грати в Breakout і Pong безпосередньо з екранних пікселів
Оптимізація часу роботи світлофора на перехрестях для мінімізації загального часу очікування транспортного засобу
Навігація робота сіткою або лабіринтом, де робот вивчає найкоротший шлях, що максимізує винагороду
Динамічне ціноутворення та рішення щодо запасів, коли агент дізнається, які дії максимізують довгостроковий прибуток
Майбутнє Q-Learning
Класичне табличне Q-навчання має труднощі, коли станів забагато для зберігання в таблиці. Домінуючим напрямком є поєднання його з нейронними мережами, як-от Deep Q-Networks (DQN), які апроксимують Q-значення з необроблених вхідних даних, таких як пікселі. Дослідження продовжують стабілізувати це за допомогою відтворення досвіду, цільових мереж і таких варіантів, як подвійний DQN і розподільне Q-навчання, які зменшують упередження переоцінки та представляють повні розподіли прибутку, а не окремі середні значення.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Q-Learning quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке Q-Learning?
Q-Learning — це алгоритм навчання з підкріпленням, який навчає агента, які дії окупаються найкраще, шляхом поступового вивчення цінності кожного кроку методом проб і помилок. Це важливо, тому що він може знайти оптимальну поведінку, навіть не дізнавшись про правила свого середовища.
Що означає Q-значення Q(s, a)?
Q(s, a) оцінює загальну знижену майбутню винагороду від виконання дії a у стані s та оптимальної поведінки після цього, а не лише негайну винагороду.
Чому Q-Learning названо «поза політикою»?
Максимальна кількість наступних дій означає, що Q-Learning вивчає цінність жадібної оптимальної політики, навіть коли агент досліджує за допомогою іншої політики поведінки.
Чим керує гамма коефіцієнта дисконтування в правилі оновлення?
Гамма (між 0 і 1) знижує майбутні винагороди; значення біля 1 роблять агента далекозорим, значення біля 0 роблять його короткозорим.
Що таке помилка часової різниці (TD) у Q-Learning?
Помилка TD — це розрив між новою цільовою оцінкою (винагорода плюс найкраща дисконтована майбутня вартість) і старою оцінкою Q; оновлення скорочує цю прогалину.
Чому простий табличний Q-Learning бореться з такими великими проблемами, як відеоігри з пікселів?
Пошукова таблиця потребує запису для пари стан-дія, що неможливо, коли стани нараховуються мільярдами, що мотивує апроксиматори нейронних мереж, такі як DQN.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми