Műszaki ÚTMUTATÓ

Q-Learning

A Q-Learning egy megerősítő tanulási algoritmus, amely megtanítja az ügynöknek, hogy mely tevékenységek kifizetődőek a legjobban azáltal, hogy próbálgatásokon és tévedéseken keresztül fokozatosan megtanulják az egyes lépések értékét.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A Q-Learning jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It matters because it can find optimal behavior without ever being told the rules of its environment.

Mély merülés

A Q-Learning megtanulja a Q(s, a) nevű függvényt: a várt hosszú távú jutalmat, ha az 's' állapotban végrehajtja az 'a' műveletet, majd utána optimálisan cselekszik. Az ügynök semmit sem tud, cselekményeket próbál, és megfigyeli a jutalmakat. Minden egyes lépés után a Q-érték becslését az imént kapott jutalom és a legjobb diszkontált jövőbeli érték felé tolja, amelyet a következő állapottól vár. Lényeges, hogy „politikán kívüli” és „modellmentes”: a legjobb politikát tanulhatja meg véletlenszerű felfedezés közben, és nincs szüksége modellre a világ átalakulásáról. Ha minden állapot-művelet pár kellőképpen feltárja, a Q-értékek bizonyíthatóan az optimális értékekhez konvergálnak, és bármely állapotban a legjobb cselekvés egyszerűen az, amelyik a legmagasabb Q-val rendelkezik.

Valós megvalósítás

Az Atari játékügynökei (DeepMind's DQN) megtanulják a Breakout és a Pong játékot közvetlenül a képernyő képpontjairól

A közlekedési lámpák időzítésének optimalizálása a kereszteződésekben a jármű teljes várakozási idejének minimalizálása érdekében

Robotnavigáció egy rácson vagy labirintuson keresztül, ahol a robot megtanulja a legrövidebb jutalommaximalizáló utat

Dinamikus árképzési és készletezési döntések, ahol az ügynök megtanulja, hogy mely műveletek maximalizálják a hosszú távú profitot

A Q-Learning jövője

A klasszikus táblázatos Q-Learning nehézségekkel küzd, amikor túl sok állapot van ahhoz, hogy egy táblázatban tároljuk. A domináns irány a neurális hálózatokkal való kombinálás, mint például a Deep Q-Networks (DQN) esetében, amely a Q-értékeket a nyers bemenetekből, például pixelekből közelíti meg. Folytatódnak a kutatások ennek stabilizálására tapasztalat-visszajátszással, célhálózatokkal és olyan változatokkal, mint a Double DQN és a disztribúciós Q-Learning, amelyek csökkentik a túlbecslési torzítást, és teljes hozameloszlást képviselnek, nem pedig egyedi átlagokat.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Q-Learning quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Q-Learning?

A Q-Learning egy megerősítő tanulási algoritmus, amely megtanítja az ügynöknek, hogy mely tevékenységek kifizetődőek a legjobban azáltal, hogy próbálgatásokon és tévedéseken keresztül fokozatosan megtanulják az egyes lépések értékét. Ez azért fontos, mert képes megtalálni az optimális viselkedést anélkül, hogy megmondanák neki a környezete szabályait.

Mit jelent a Q(s, a) Q-érték?

A Q(s, a) a teljes diszkontált jövőbeli jutalmat becsüli meg az s állapotban végrehajtott a cselekvésből, és azt követően optimálisan viselkedik, nem csak az azonnali jutalmat.

Miért nevezik a Q-Learninget „irányzaton kívülinek”?

A következő műveletek maximuma azt jelenti, hogy a Q-Learning megtanulja a mohó optimális irányelv értékét, még akkor is, ha az ügynök más viselkedési politikával kutat.

A frissítési szabályban mit szabályoz a diszkonttényező gamma?

A gamma (0 és 1 között) kedvezményeket biztosít a jövőbeni jutalmakhoz; az 1-hez közeli értékek az ügynököt távollátóvá, a 0-hoz közeli értékek rövidlátóvá teszik.

Mi az időbeli különbség (TD) hiba a Q-Learningben?

A TD hiba az új célbecslés (jutalom plusz legjobb diszkontált jövőbeli érték) és a régi Q-becslés közötti különbség; a frissítés csökkenti ezt a rést.

Miért küzd az egyszerű táblázatos Q-Learning olyan nagy problémákkal, mint a pixelekből származó videojátékok?

A keresési táblához állapot-művelet páronként be kell írni, ami nem kivitelezhető, ha az állapotok száma milliárdokban haladja meg a neurális hálózati közelítőket, például a DQN-t.