Quiz collegato alla guida · Medio Livello

Quiz sull'apprendimento rinforzato offline

Esplora l'apprendimento per rinforzo di set di dati fissi, lo spostamento della distribuzione e metodi rappresentativi conservativi e di modellazione di sequenze.

Percorsi guida correlatiApprendimento per rinforzo offline
Domanda 1 di 8

Cosa definisce l’apprendimento per rinforzo offline (batch)?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa definisce l’apprendimento per rinforzo offline (batch)?
    • Apprendimento da un set di dati fisso senza nuova interazione con l'ambiente
    • Imparare solo attraverso la continua esplorazione dal vivo
    • Allenamento senza alcun segnale di ricompensa
    • Esecuzione di inferenza senza alcun modello
  2. Qual è la sfida tecnica centrale nella RL offline?
    • Mancanza di dati
    • Spostamento distribuzionale e sovrastima delle azioni fuori distribuzione
    • Esplorazione online eccessiva
    • Troppi pochi parametri nella rete
  3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
    • A guarantee that an offline policy is safe to deploy
    • A new optimizer that removes the need for logged data
    • A benchmark suite of datasets and tasks for offline RL evaluation
    • A dataset containing only online interactions collected by each test policy
  4. In che modo il Conservative Q-Learning (CQL) combatte la sopravvalutazione?
    • Gonfiando i valori per azioni invisibili
    • Rimuovendo completamente la ricompensa
    • Esplorando di più nel mondo reale
    • Regolarizzando i valori Q verso il basso per le azioni fuori distribuzione
  5. In che modo il Decision Transformer riformula la RL offline?
    • Come modellazione sequenziale che prevede azioni condizionate al rendimento desiderato
    • Come raggruppamento di stati
    • Come pura ricerca casuale
    • Come classificazione delle immagini supervisionata
  6. Perché gli algoritmi RL online standard non possono essere semplicemente utilizzati così come sono offline?
    • Non hanno una rete neurale
    • Non possono raccogliere dati correttivi per correggere la sovrastima del valore
    • Non usano mai i premi
    • Non richiedono alcuna politica
  7. How does BCQ reduce reliance on actions absent from an offline dataset?
    • It adds random actions to every training transition
    • It assumes every action has been observed equally often
    • It constrains candidate actions to stay near actions the dataset supports
    • It removes the action-value function and reward
  8. What value-learning method is central to the cited Implicit Q-Learning paper?
    • Maximum-likelihood fitting of a language tokenizer
    • Uniform regression over actions sampled from a live environment
    • A supervised image-classification loss
    • Expectile regression over values associated with dataset actions