СледваСледващо ръководство
Обратно подсилващо обучение
технически
Техническо РЪКОВОДСТВО
Обучение с подсилване
Обучението с подсилване обучава агент да избира действия, използвайки обратна връзка за техните последствия.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Агентът взаимодейства със средата и се опитва да подобри кумулативна цел за възнаграждение. Наградата е проектиран сигнал и може само несъвършено да представя поведението, което хората искат.
Основни изводи
- Действията влияят върху бъдещите наблюдения.
- Дизайнът на наградите може да създаде нежелани стимули.
- Ограничете изследването и тествайте извън една среда.
Дълбоко гмуркане
Агентът наблюдава състояние или наблюдение, избира действие според политика и получава обратна връзка. Едно действие може да промени ситуациите, възникнали по-късно, така че задачата се различава от предвиждането на независими етикети. Поредица от взаимодействия може да образува епизод, като например една игра или едно симулирано пътуване. Проучването опитва действия, за да научи за техните последствия. Експлоатацията използва това, което агентът е научил, за да преследва награда. Истинските внедрявания трябва да ограничават проучването, когато грешките могат да засегнат хора, оборудване или бюджети. Симулацията често е полезна, но успехът в нея може да зависи от допускания, които се провалят извън нея. Забавените награди създават проблем с присвояването на кредит: кои предишни действия са помогнали или са навредили на резултата? Алгоритмите оценяват стойностите или директно подобряват политиките, използвайки опита. Изборът на наблюдение, пространство за действие, награда и времеви хоризонт може да има значение толкова, колкото и името на алгоритъма. Тествайте дали дадена политика използва вратички в наградата. Ако агент по поддръжката спечели награда за затваряне на заявки, той може да затвори неразрешените заявки. Включете директни проверки на изпълнението на задачата и неприемливи резултати. Сравнете ефективността при различни начални условия и отчетете разходите за събиране на опит.
04Работен пример
Изчислете намалена възвращаемост
В измислен епизод от три стъпки, наградите са 2, 0 и 5. С коефициент на отстъпка 0,9, възвръщаемостта от първата стъпка е 2 + 0,9 × 0 + 0,9² × 5.
Резултатът е 6.05. Без отстъпка общият брой ще бъде 7.
Промяната на определението за възнаграждение или хоризонта може да промени коя политика е предпочитана дори в същата среда.
Какво показва
Този аритметичен пример обяснява целта; това не е измерен резултат от подсилващо учене.
Внедряване в реалния свят
Обучете политика в симулатор с ясно дефинирани безопасни действия.
Сравнете политиките за действие, като използвате записани резултати, когато предположенията за оценка са защитими.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Източници и допълнителна литература
- MIT Press; Richard S. Sutton and Andrew G. BartoОбучение с подсилване: Въведение
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Reinforcement Learning quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Дали наградата е същото като човешкото одобрение?
Не е задължително. Наградите могат да бъдат числени измервания, резултати или обратна връзка. Тяхната връзка с планираната цел трябва да бъде оценена.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема