Gids-gekoppelde quiz · Middelmatig Niveau

Q-Learning-quiz

Controleert Q-waarden, leren buiten het beleid, Bellman-updates, verkenning, convergentieaannames en waarom Q-learning modelvrij is.

Gerelateerde gidspadenQ Leren
Vraag 1 van 8

Wat vertegenwoordigt de Q-waarde Q(s, a)?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat vertegenwoordigt de Q-waarde Q(s, a)?
    • De verwachte langetermijnbeloning van het ondernemen van actie in een toestand en vervolgens optimaal handelen
    • De waarschijnlijkheid dat u zich in toestand s bevindt
    • Het aantal keren dat actie a is geprobeerd
    • De onmiddellijke beloning alleen voor actie a
  2. Waarom wordt Q-Learning omschreven als 'buiten het beleid'?
    • Het vereist een model van de omgeving
    • Het kan het optimale beleid leren terwijl het een ander, verkennend beleid volgt
    • Het werkt alleen offline op opgeslagen gegevens
    • Het negeert beloningen volledig
  3. Wat controleert de kortingsfactor gamma in de updateregel?
    • Het verkenningspercentage
    • De grootte van de statustabel
    • Hoeveel toekomstige beloningen worden gewogen ten opzichte van directe beloningen
    • Het aantal afleveringen
  4. Wat is de temporele verschilfout (TD) in Q-Learning?
    • Het verschil tussen twee staten
    • De totale beloning van een aflevering
    • De leersnelheid maal gamma
    • r + gamma*max Q(s',a') minus de huidige schatting van Q(s,a).
  5. Waarom worstelt Q-Learning in tabelvorm met grote problemen zoals videogames met pixels?
    • Het aantal verschillende statussen is te groot om in een tabel op te slaan
    • Het kan geen beloningen gebruiken
    • Het werkt alleen met twee acties
    • Gamma moet gelijk zijn aan 1
  6. Wat is het doel van epsilon-hebzuchtige actieselectie?
    • Om altijd de actie met de hoogste Q-waarde te kiezen
    • Om een evenwicht te vinden tussen het verkennen van nieuwe acties en het exploiteren van bekende goede acties
    • Om de kortingsfactor in te stellen
    • Voor het opbergen van de Q-tafel
  7. What exploration condition appears in the tabular Q-learning convergence result?
    • Only the greedy action is ever sampled
    • Each state must be visited exactly once
    • Every state-action pair must be visited repeatedly under suitable learning conditions
    • The transition model must be known in advance
  8. Why is Q-learning called model-free?
    • It never observes the environment
    • It does not use rewards
    • It requires a complete transition table before learning
    • It updates values from sampled rewards and next states without storing transition probabilities