LegközelebbKövetkező útmutató
Az emberi visszajelzésekből való tanulás megerősítése
Műszaki
Műszaki ÚTMUTATÓ
Az offline megerősítéses tanulás (offline reinforcement learning) korábbi átmenetek rögzített adatkészletéből tanulja meg a szabályokat anélkül, hogy a képzés során új környezeti interakciókat gyűjtene.
Hallgassa meg ezt az útmutatótAI-narrált · ~1 min
A central difficulty is distribution shift: a policy can select actions outside the data support, where value estimates may be unreliable.
Offline RL differs from online RL because training cannot request corrective experience from the environment. D4RL provides benchmark tasks and datasets for evaluating offline methods. Extrapolation error can make unseen actions appear valuable. CQL penalizes overly optimistic Q-values; BCQ constrains candidate actions around the dataset; IQL uses expectile regression and policy extraction from in-dataset actions. Decision Transformer instead frames control as autoregressive trajectory modeling conditioned on return-to-go. These are algorithmic approaches with benchmark-specific results, not guarantees of safe deployment.
Use logged state-action-reward-next-state transitions as the training dataset.
Use D4RL benchmark datasets and tasks to compare offline-RL methods under a documented evaluation protocol.
Use BCQ to constrain candidate actions near the observed behavior distribution.
Use IQL to fit values with expectile regression on actions present in the dataset.
Evaluate offline policies on held-out trajectories and report dataset coverage, reward definitions, and uncertainty. In high-stakes domains, offline evaluation should be paired with domain review and prospective safeguards before any real-world use.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Offline reinforcement learning learns policies from a fixed dataset of prior transitions without collecting new environment interactions during training. A central difficulty is distribution shift: a policy can select actions outside the data support, where value estimates may be unreliable.
Az Offline RL teljesen a korábban gyűjtött adatokból tanulja meg a szabályzatot, és soha nem lép interakcióba a környezettel a képzés során.
Az értékmódszerek túlbecsülik az adatkészletből hiányzó tevékenységeket, és ha nincs környezet a hibák kijavítására, az irányelv illuzórikus jutalmakat követel.
The D4RL paper introduces benchmark tasks and datasets, with evaluation protocols and examples, to support research in offline reinforcement learning.
A CQL egy büntetést ad hozzá, amely csökkenti az adatokban nem szereplő műveletek Q-értékeit, miközben az adatokon belüli műveleteket magasan tartja, így konzervatív alsó értékhatárt ad.
A Decision Transformer szekvenciákként kezeli a pályákat, és a cél visszatéréstől függően műveleteket generál, a casting vezérlést pedig autoregresszív szekvencia előrejelzésként.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Az emberi visszajelzésekből való tanulás megerősítése
Műszaki