LegközelebbKövetkező útmutató
Tanulási ütem ütemezése
Műszaki
Műszaki ÚTMUTATÓ
A Q-Learning egy megerősítő tanulási algoritmus, amely megtanítja az ügynöknek, hogy mely tevékenységek kifizetődőek a legjobban azáltal, hogy próbálgatásokon és tévedéseken keresztül fokozatosan megtanulják az egyes lépések értékét.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It matters because it can find optimal behavior without ever being told the rules of its environment.
A Q-Learning megtanulja a Q(s, a) nevű függvényt: a várt hosszú távú jutalmat, ha az 's' állapotban végrehajtja az 'a' műveletet, majd utána optimálisan cselekszik. Az ügynök semmit sem tud, cselekményeket próbál, és megfigyeli a jutalmakat. Minden egyes lépés után a Q-érték becslését az imént kapott jutalom és a legjobb diszkontált jövőbeli érték felé tolja, amelyet a következő állapottól vár. Lényeges, hogy „politikán kívüli” és „modellmentes”: a legjobb politikát tanulhatja meg véletlenszerű felfedezés közben, és nincs szüksége modellre a világ átalakulásáról. Ha minden állapot-művelet pár kellőképpen feltárja, a Q-értékek bizonyíthatóan az optimális értékekhez konvergálnak, és bármely állapotban a legjobb cselekvés egyszerűen az, amelyik a legmagasabb Q-val rendelkezik.
Az Atari játékügynökei (DeepMind's DQN) megtanulják a Breakout és a Pong játékot közvetlenül a képernyő képpontjairól
A közlekedési lámpák időzítésének optimalizálása a kereszteződésekben a jármű teljes várakozási idejének minimalizálása érdekében
Robotnavigáció egy rácson vagy labirintuson keresztül, ahol a robot megtanulja a legrövidebb jutalommaximalizáló utat
Dinamikus árképzési és készletezési döntések, ahol az ügynök megtanulja, hogy mely műveletek maximalizálják a hosszú távú profitot
A klasszikus táblázatos Q-Learning nehézségekkel küzd, amikor túl sok állapot van ahhoz, hogy egy táblázatban tároljuk. A domináns irány a neurális hálózatokkal való kombinálás, mint például a Deep Q-Networks (DQN) esetében, amely a Q-értékeket a nyers bemenetekből, például pixelekből közelíti meg. Folytatódnak a kutatások ennek stabilizálására tapasztalat-visszajátszással, célhálózatokkal és olyan változatokkal, mint a Double DQN és a disztribúciós Q-Learning, amelyek csökkentik a túlbecslési torzítást, és teljes hozameloszlást képviselnek, nem pedig egyedi átlagokat.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Q-Learning egy megerősítő tanulási algoritmus, amely megtanítja az ügynöknek, hogy mely tevékenységek kifizetődőek a legjobban azáltal, hogy próbálgatásokon és tévedéseken keresztül fokozatosan megtanulják az egyes lépések értékét. Ez azért fontos, mert képes megtalálni az optimális viselkedést anélkül, hogy megmondanák neki a környezete szabályait.
A Q(s, a) a teljes diszkontált jövőbeli jutalmat becsüli meg az s állapotban végrehajtott a cselekvésből, és azt követően optimálisan viselkedik, nem csak az azonnali jutalmat.
A következő műveletek maximuma azt jelenti, hogy a Q-Learning megtanulja a mohó optimális irányelv értékét, még akkor is, ha az ügynök más viselkedési politikával kutat.
A gamma (0 és 1 között) kedvezményeket biztosít a jövőbeni jutalmakhoz; az 1-hez közeli értékek az ügynököt távollátóvá, a 0-hoz közeli értékek rövidlátóvá teszik.
A TD hiba az új célbecslés (jutalom plusz legjobb diszkontált jövőbeli érték) és a régi Q-becslés közötti különbség; a frissítés csökkenti ezt a rést.
A keresési táblához állapot-művelet páronként be kell írni, ami nem kivitelezhető, ha az állapotok száma milliárdokban haladja meg a neurális hálózati közelítőket, például a DQN-t.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Tanulási ütem ütemezése
Műszaki