Quiz collegato alla guida · Medio Livello

Quiz di apprendimento sul rinforzo multi-agente

Studia come diversi agenti di apprendimento per rinforzo imparano con ricompense condivise, avversari mutevoli, viste parziali e vincoli di coordinazione.

Domanda 1 di 8

Cosa rende l'ambiente "non stazionario" dal punto di vista di un agente in MARL?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa rende l'ambiente "non stazionario" dal punto di vista di un agente in MARL?
    • Altri agenti stanno simultaneamente imparando e modificando le proprie politiche
    • La funzione di ricompensa viene ripristinata in modo casuale a ogni episodio
    • Lo spazio statale cresce senza limiti nel tempo
    • I sensori restituiscono osservazioni rumorose
  2. Cosa significa "formazione centralizzata con esecuzione decentralizzata" (CTDE)?
    • Gli agenti vengono addestrati e funzionano su un singolo server centrale
    • Un critico condiviso utilizza le informazioni globali durante l'addestramento, ma gli agenti agiscono in base alle osservazioni locali durante l'implementazione
    • Un agente principale invia comandi a tutti gli altri in fase di runtime
    • I dati sulla formazione sono centralizzati ma i premi sono decentralizzati
  3. Quale quadro matematico generalizza l'MDP a singolo agente a più agenti?
    • Un programma lineare
    • Un modello Markov nascosto
    • Un gioco di Markov (gioco stocastico)
    • Un automa a stati finiti
  4. In un ambiente MARL puramente cooperativo, come è tipicamente strutturata la ricompensa?
    • Ciascun agente massimizza una ricompensa che è negativa rispetto a quella di un altro
    • Solo l'agente più veloce riceve una ricompensa
    • I premi vengono assegnati in modo casuale a ogni passaggio
    • Gli agenti condividono una ricompensa di squadra comune che massimizzano insieme
  5. Which training approach did OpenAI Five use to improve at Dota 2?
    • Self-play against copies of its own current and past policies
    • A fixed lookup table of human moves
    • A supervised-only classifier trained on image labels
    • A single policy trained only against a static scripted opponent
  6. Perché la "cessione del credito" è particolarmente difficile nella cooperativa MARL?
    • I premi arrivano istantaneamente e sono facili da rintracciare
    • È difficile determinare quali azioni dell'agente abbiano contribuito a un risultato condiviso del team
    • C'è sempre e solo un agente che riceve la ricompensa
    • Gli agenti non possono osservare alcuna ricompensa
  7. What structural constraint does QMIX place on its mixing network?
    • It must be a linear sum with fixed weights
    • It ignores all individual agent values
    • The joint action-value is monotonic in each agent’s individual value
    • It requires communication at every action step
  8. How does Value Decomposition Networks (VDN) form the team action-value?
    • By multiplying all rewards by the number of agents
    • By selecting the largest local reward only
    • By training a separate team for each agent
    • By summing the individual agents’ action-values