Gids-gekoppelde quiz · Middelmatig Niveau

Offline versterkingsleerquiz

Ontdek het leren van versterking van vaste datasets, distributieverschuiving en representatieve conservatieve en sequentiemodelleringsmethoden.

Gerelateerde gidspadenOffline versterkingsleren
Vraag 1 van 8

Wat definieert offline (batch) bekrachtigingsleren?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat definieert offline (batch) bekrachtigingsleren?
    • Leren van een vaste dataset zonder nieuwe omgevingsinteractie
    • Alleen leren door middel van continue live verkenning
    • Trainen zonder enig beloningssignaal
    • Gevolgtrekking uitvoeren zonder enig model
  2. Wat is de centrale technische uitdaging bij offline RL?
    • Gebrek aan gegevens
    • Distributieverschuiving en overschatting van acties buiten de distributie
    • Overmatige online verkenning
    • Te weinig parameters in het netwerk
  3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
    • A guarantee that an offline policy is safe to deploy
    • A new optimizer that removes the need for logged data
    • A benchmark suite of datasets and tasks for offline RL evaluation
    • A dataset containing only online interactions collected by each test policy
  4. Hoe gaat Conservative Q-Learning (CQL) overschatting tegen?
    • Door waarden voor ongeziene acties op te blazen
    • Door de beloning volledig te verwijderen
    • Door meer te ontdekken in de echte wereld
    • Door Q-waarden naar beneden te regulariseren voor acties die buiten de distributie vallen
  5. Hoe herformuleert de Decision Transformer offline RL?
    • Als sequentiemodellering die acties voorspelt op basis van het gewenste rendement
    • Als clustering van staten
    • Als puur willekeurig zoeken
    • Als begeleide beeldclassificatie
  6. Waarom kunnen standaard online RL-algoritmen niet gewoon offline worden gebruikt?
    • Ze hebben geen neuraal netwerk
    • Ze kunnen geen corrigerende gegevens verzamelen om de overschatting van de waarde op te lossen
    • Ze gebruiken nooit beloningen
    • Ze vereisen geen beleid
  7. How does BCQ reduce reliance on actions absent from an offline dataset?
    • It adds random actions to every training transition
    • It assumes every action has been observed equally often
    • It constrains candidate actions to stay near actions the dataset supports
    • It removes the action-value function and reward
  8. What value-learning method is central to the cited Implicit Q-Learning paper?
    • Maximum-likelihood fitting of a language tokenizer
    • Uniform regression over actions sampled from a live environment
    • A supervised image-classification loss
    • Expectile regression over values associated with dataset actions