Gids-gekoppelde quiz · Moeilijk Niveau

Inverse versterkingsleerquiz

Controleert het beloningshersteldoel van IRL, de dubbelzinnigheid, de kansen op een maximaal entropietraject en hoe daarna een beleid wordt afgeleid.

Gerelateerde gidspadenLeren van omgekeerde versterking
Vraag 1 van 8

Wat wil inverse bekrachtigingsleren herstellen?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat wil inverse bekrachtigingsleren herstellen?
    • Een beloningsfunctie die waargenomen expertgedrag verklaart
    • Een snellere optimalisatie voor gradiëntafdaling
    • Een gecomprimeerde versie van de demonstraties
    • Een gelabelde afbeeldingsgegevensset
  2. Waarom wordt het IRL-probleem beschreven als slecht gesteld of dubbelzinnig?
    • Want demonstraties zijn altijd perfect optimaal
    • Omdat veel verschillende beloningsfuncties hetzelfde gedrag kunnen verklaren
    • Omdat beloningen altijd negatief moeten zijn
    • Omdat er geen deskundige gegevens voor nodig zijn
  3. Welk belangrijk voordeel heeft het terugkrijgen van een beloning ten opzichte van gedragsklonen?
    • Er zijn geen demonstraties nodig
    • Het loopt altijd in constante tijd
    • Het omvat het onderliggende doel en generaliseert naar onzichtbare toestanden
    • Het vermijdt het gebruik van welk beleid dan ook
  4. Hoe lost IRL met maximale entropie beloningsambiguïteit op?
    • Door te dwingen dat alle beloningen gelijk zijn
    • Door suboptimale trajecten volledig te negeren
    • Door de beloningsfunctie te verwijderen
    • Door de trajectwaarschijnlijkheid te modelleren als exponentieel in de totale beloning
  5. Wat wordt er doorgaans daarna gedaan nadat IRL een beloningsfunctie heeft hersteld?
    • Standaard bekrachtigingsleren leidt een beleid af van die beloning
    • De beloning wordt weggegooid
    • De demonstraties worden verwijderd om ruimte te besparen
    • De agent stopt met leren
  6. In welk scenario is IRL vooral nuttig?
    • Wanneer de beloning al perfect bekend is
    • Wanneer u de doelen achter expertgedrag wilt begrijpen en generaliseren
    • Als er geen gedragsgegevens bestaan
    • Wanneer u alleen vaste acties hoeft te onthouden
  7. Why can a constant zero reward explain many different expert policies?
    • It assigns the highest reward only to expert actions
    • It proves the expert is optimal
    • Every policy receives the same return, so none is preferred by the reward
    • It makes the transition model deterministic
  8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
    • They are assigned probability zero
    • They are treated as equally likely regardless of reward
    • They are removed before policy learning
    • They receive higher probability, with probability depending exponentially on total reward