LegközelebbKövetkező útmutató
Hallucináció kimutatási módszerek
Műszaki
Műszaki ÚTMUTATÓ
A színész-kritikus módszerek két tanulót egyesítenek: egy „színészt”, aki cselekvéseket választ, és egy „kritikust”, aki megítéli, hogy ezek a tettek mennyire voltak jók.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez a párosítás stabilabbá és minta-hatékonyabbá teszi a megerősítő tanulást, mint bármelyik megközelítés önmagában történő alkalmazása.
A megerősítő tanulásnak két széles stílusa van: a politika alapú módszerek, amelyek közvetlenül megtanulják, mit kell tenni, és az értékalapú módszerek, amelyek megtanulják, hogy milyen jó államok vannak. A színész-kritikus összeolvasztja őket. A szereplő olyan politika, amely cselekvési valószínűségeket ad ki; a kritikus egy értékfüggvény, amely megbecsüli a várható hozamot. A kritikus minden lépés után kiszámít egy időbeli eltérési hibát, jelezve, hogy az eredmény jobb vagy rosszabb volt-e a vártnál. A színész ezt a hibát arra használja fel, hogy politikáját olyan cselekvések felé tolja, amelyek felülmúlják az elvárásokat, és eltérnek azoktól, amelyek alulteljesítenek. Mivel a kritikus alacsony szórású alapvonalat ad, a szereplő gradiensbecslései sokkal kevésbé zajosak, mint az olyan tiszta politikai gradiens módszereknél, mint a REINFORCE, miközben továbbra is kezeli a folyamatos cselekvési tereket, amelyeket a csak értékmérő módszerek, például a Q-Learning kínosnak találnak.
Robotkarok és mozgásvezérlők képzése folyamatos ízületi nyomatékkal (pl. PPO vagy SAC használatával)
Nagy nyelvi modellek összehangolása RLHF-en keresztül, ahol a PPO (egy színészkritikus módszer) optimalizálja a válaszokat egy jutalommodellhez képest
Az olyan összetett stratégiai játékok elsajátítása, mint a StarCraft II és a Dota 2
Adatközponti hűtési és energiagazdálkodási vezérlők, amelyek megtanulják a zökkenőmentes, folyamatos beállítást
A színész-kritikus a legmodernebb mély RL gerince. Az olyan algoritmusok, mint az A3C, A2C, PPO, SAC és DDPG, mind erre épülnek, és olyan trükköket adnak hozzá, mint például a kivágott célok a stabil frissítések érdekében, az entrópia bónuszok a felfedezéshez és a párhuzamos szereplők az áteresztőképesség érdekében. A robotika, a nagyszabású játékügynökök és az RL folyamatos növekedése várható az emberi visszajelzésektől a nyelvi modellek hangolásához, ahol a stabilitás és a minta hatékonysága a legfontosabb.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A színész-kritikus módszerek két tanulót egyesítenek: egy „színészt”, aki cselekvéseket választ, és egy „kritikust”, aki megítéli, hogy ezek a tettek mennyire voltak jók. Ez a párosítás stabilabbá és minta-hatékonyabbá teszi a megerősítő tanulást, mint bármelyik megközelítés önmagában történő alkalmazása.
A kritikus megtanul egy értékfüggvényt, és kiértékelő jelet állít elő (mint a TD hiba), amely megmondja a szereplőnek, hogy a tettei jobbak vagy rosszabbak voltak-e a vártnál.
Az előny azt izolálja, hogy egy adott művelet mennyivel jobb teljesítményt nyújt az adott állapot tipikus kimenetelénél, tisztább jelzést adva, mint a nyers hozam.
A kritikus értékbecslésének kivonása alapvonalként csökkenti a gradiens becslések szórását anélkül, hogy torzítást adna hozzá, ami felgyorsítja a tanulást.
Mivel a szereplő közvetlenül paraméterez egy politikát, folyamatos műveleteket (pl. csuklónyomatékokat) tud kiadni anélkül, hogy végtelen sok művelethez kellene max.
A színész a kritikus előny/TD-hiba jelzése által sugallt irányba igazítja politikáját, megerősítve a vártnál jobb akciókat.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Hallucináció kimutatási módszerek
Műszaki