Kvíz spojený s průvodcem · Těžko úroveň

Výukový kvíz inverzního posilování

Kontroluje cíl obnovy odměny IRL, nejednoznačnost, pravděpodobnost trajektorie maximální entropie a způsob, jakým je následně odvozena politika.

Související vodicí cestyInverzní posilovací učení
Otázka 1 z 8

Co má inverzní posilovací učení za cíl obnovit?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co má inverzní posilovací učení za cíl obnovit?
    • Funkce odměn, která vysvětluje pozorované chování expertů
    • Rychlejší optimalizátor pro gradientní klesání
    • Komprimovaná verze ukázek
    • Označená datová sada obrázků
  2. Proč je problém IRL popsán jako špatně položený nebo nejednoznačný?
    • Protože ukázky jsou vždy naprosto optimální
    • Protože mnoho různých funkcí odměn může vysvětlit stejné chování
    • Protože odměny musí být vždy záporné
    • Protože to nevyžaduje žádná expertní data
  3. Jakou klíčovou výhodu má získání odměny oproti behaviorálnímu klonování?
    • Nepotřebuje žádné demonstrace
    • Vždy běží v konstantním čase
    • Zachycuje základní cíl, zobecňuje na neviditelné stavy
    • Vyhýbá se používání jakýchkoli zásad
  4. Jak IRL s maximální entropií řeší nejednoznačnost odměny?
    • Tím, že vynutíte, aby byly všechny odměny stejné
    • Úplným ignorováním suboptimálních trajektorií
    • Odebráním funkce odměny
    • Modelováním pravděpodobnosti trajektorie jako exponenciální v celkové odměně
  5. Co se obvykle dělá poté, co IRL obnoví funkci odměny?
    • Standardní posilovací učení odvozuje politiku z této odměny
    • Odměna je vyřazena
    • Ukázky jsou odstraněny, aby se ušetřilo místo
    • Agent se přestane učit
  6. V jakém scénáři je IRL obzvláště užitečné?
    • Když už je odměna dokonale známá
    • Když chcete porozumět a zobecnit cíle za expertním chováním
    • Když neexistují žádná data o chování
    • Když si potřebujete pouze zapamatovat pevně dané akce
  7. Why can a constant zero reward explain many different expert policies?
    • It assigns the highest reward only to expert actions
    • It proves the expert is optimal
    • Every policy receives the same return, so none is preferred by the reward
    • It makes the transition model deterministic
  8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
    • They are assigned probability zero
    • They are treated as equally likely regardless of reward
    • They are removed before policy learning
    • They receive higher probability, with probability depending exponentially on total reward