Ẹkọ Imudara Aisinipo
Ẹkọ imuduro aisinipo n ṣe ikẹkọ awọn aṣoju nikan lati ipilẹ data ti o wa titi, ti a gba tẹlẹ, laisi ibaraenisepo laaye pẹlu agbegbe.
Akopọ
It matters because in healthcare, robotics, and recommendation, exploring by trial and error is too costly, slow, or dangerous.
Jin Dive
RL aisinipo (ti a tun pe ni ipele RL) kọ ẹkọ eto imulo kan lati inu akọọlẹ aimi ti iriri ti o kọja - awọn ipinlẹ, awọn iṣe, awọn ere, ati awọn ipinlẹ atẹle - laisi ṣiṣe awọn iṣe tuntun ni agbegbe gidi lakoko ikẹkọ. Eyi ṣii RL fun awọn eto nibiti iwadii ori ayelujara ko ni aabo tabi gbowolori, bii ikẹkọ awọn ilana itọju lati awọn igbasilẹ alaisan itan tabi awọn ọgbọn robot lati data ti o wọle. Iṣoro asọye jẹ iyipada pinpin ni idapo pẹlu aṣiṣe afikun: awọn ọna ti o da lori iye iwọn apọju iye ti awọn iṣe pinpin kaakiri dataset ko gbiyanju rara, ati pe ko si agbegbe lati ṣe atunṣe awọn aṣiṣe wọnyi, eto imulo naa lepa awọn ere iruju. Awọn algoridimu ode oni koju eyi nipa gbigbe sunmo data naa, ni lilo awọn iṣiro iye Konsafetifu (CQL), awọn idiwọ eto imulo (BCQ, BEAR), tabi iwuwo iwuwo (IQL).
Imọ-imọ-ẹrọ
Ipo ikuna mojuto jẹ iwọn apọju ti awọn iṣe pinpin-jade: iṣẹ-Q ti ẹkọ ṣe ipinnu awọn iye giga si awọn yiyan iṣe ti ko si ninu dataset, ati bootstrapping tan awọn aṣiṣe wọnyi laisi awọn esi gidi lati ṣe atunṣe wọn. Konsafetifu Q-Learning (CQL) n ṣalaye eyi nipa fifi oluṣeto deede ti o tẹ awọn iye Q-si isalẹ fun awọn iṣe ti a ko rii lakoko ti o tọju awọn iṣe data ni giga, ti n ṣe agbedemeji kekere lori iye otitọ ati eto imulo ti o yago fun aini atilẹyin, awọn yiyan ireti.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Ẹkọ Imudara Aisinipo
RL aisinipo n ṣajọpọ pẹlu awoṣe lẹsẹsẹ - awọn isunmọ bii Ayipada Ipinnu ṣe atunwi rẹ bi awọn iṣe asọtẹlẹ ti o ni ilodi si lori awọn ipadabọ ti o fẹ - ati pẹlu iṣaju iṣaju, awọn aṣoju ti n mu awọn oṣiṣẹ ṣiṣẹ lori awọn iwe data ibuwọlu nla lẹhinna yiyan ni aifwy lori ayelujara. Reti idagbasoke ni ilera, awakọ adase, ati iṣeduro nibiti ẹkọ ailewu lati data ti o wa jẹ pataki, lẹgbẹẹ awọn irinṣẹ to dara julọ fun igbelewọn eto imulo aisinipo nitorinaa awọn ilana imuṣiṣẹ le ni igbẹkẹle ṣaaju ki wọn to ṣiṣẹ ni agbaye gidi.
Real-World imuse
Kọ ẹkọ awọn ilana itọju ile-iwosan lati awọn igbasilẹ ilera eletiriki itan
Awọn roboti ikẹkọ lati awọn iwe data ti o wọle nla laisi iṣawari ifiwewu eewu
Ti o dara ju iṣeduro ati awọn ọna ṣiṣe ipolowo lati awọn akọọlẹ ibaraenisepo ti o kọja
Imudarasi awọn ilana ipinnu wiwakọ adase lati awọn data ọkọ oju-omi titobi ti a gba
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Offline Reinforcement Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ẹkọ Imudara Lati Idahun Eniyan
Awọn ibeere ti a beere nigbagbogbo
What is Offline Reinforcement Learning?
Ẹkọ imuduro aisinipo n ṣe ikẹkọ awọn aṣoju nikan lati ipilẹ data ti o wa titi, ti a gba tẹlẹ, laisi ibaraenisepo laaye pẹlu agbegbe. O ṣe pataki nitori ni ilera, awọn ẹrọ roboti, ati iṣeduro, ṣawari nipasẹ idanwo ati aṣiṣe jẹ idiyele pupọ, lọra, tabi eewu.
Kini o ṣe asọye ikẹkọ aisinipo (ipele) ikẹkọ iranlọwọ?
Aisinipo RL kọ ẹkọ eto imulo patapata lati data ti a gba tẹlẹ ati pe ko ṣe ajọṣepọ pẹlu agbegbe lakoko ikẹkọ.
Kini ipenija imọ-ẹrọ aringbungbun ni RL offline?
Awọn ọna iye ṣe apọju awọn iṣe ti ko si ninu dataset, ati laisi agbegbe lati ṣatunṣe awọn aṣiṣe wọnyi eto imulo n lepa awọn ere alaimọkan.
Kini idi ti RL offline jẹ wuni fun awọn ohun elo ilera?
Iwadii idanwo-ati-aṣiṣe lori awọn alaisan jẹ ewu, nitorina ikẹkọ awọn ilana itọju lati awọn igbasilẹ itan yago fun fifi eniyan sinu ewu.
Bawo ni Konsafetifu Q-Learning (CQL) dojuko overestimation?
CQL ṣafikun ijiya kan ti o dinku awọn iye-Q-fun awọn iṣe ti kii ṣe ninu data lakoko ti o tọju awọn iṣe inu-data ga, ti nso isomọ Konsafetifu kekere lori iye.
Bawo ni Amunawa Ipinnu ṣe atunṣe RL aisinipo?
Amunawa Ipinnu ṣe itọju awọn itọpa bi awọn ilana ati ṣe ipilẹṣẹ awọn iṣe ti o ni ilodi si lori ipadabọ-si-lọ ibi-afẹde, iṣakoso simẹnti bi asọtẹlẹ lẹsẹsẹ adaṣe.