Kvíz spojený s průvodcem · Těžko úroveň
Výukový kvíz inverzního posilování
Kontroluje cíl obnovy odměny IRL, nejednoznačnost, pravděpodobnost trajektorie maximální entropie a způsob, jakým je následně odvozena politika.
Otázka 1 z 8
Co má inverzní posilovací učení za cíl obnovit?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co má inverzní posilovací učení za cíl obnovit?
- Funkce odměn, která vysvětluje pozorované chování expertů
- Rychlejší optimalizátor pro gradientní klesání
- Komprimovaná verze ukázek
- Označená datová sada obrázků
- Proč je problém IRL popsán jako špatně položený nebo nejednoznačný?
- Protože ukázky jsou vždy naprosto optimální
- Protože mnoho různých funkcí odměn může vysvětlit stejné chování
- Protože odměny musí být vždy záporné
- Protože to nevyžaduje žádná expertní data
- Jakou klíčovou výhodu má získání odměny oproti behaviorálnímu klonování?
- Nepotřebuje žádné demonstrace
- Vždy běží v konstantním čase
- Zachycuje základní cíl, zobecňuje na neviditelné stavy
- Vyhýbá se používání jakýchkoli zásad
- Jak IRL s maximální entropií řeší nejednoznačnost odměny?
- Tím, že vynutíte, aby byly všechny odměny stejné
- Úplným ignorováním suboptimálních trajektorií
- Odebráním funkce odměny
- Modelováním pravděpodobnosti trajektorie jako exponenciální v celkové odměně
- Co se obvykle dělá poté, co IRL obnoví funkci odměny?
- Standardní posilovací učení odvozuje politiku z této odměny
- Odměna je vyřazena
- Ukázky jsou odstraněny, aby se ušetřilo místo
- Agent se přestane učit
- V jakém scénáři je IRL obzvláště užitečné?
- Když už je odměna dokonale známá
- Když chcete porozumět a zobecnit cíle za expertním chováním
- Když neexistují žádná data o chování
- Když si potřebujete pouze zapamatovat pevně dané akce
- Why can a constant zero reward explain many different expert policies?
- It assigns the highest reward only to expert actions
- It proves the expert is optimal
- Every policy receives the same return, so none is preferred by the reward
- It makes the transition model deterministic
- In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
- They are assigned probability zero
- They are treated as equally likely regardless of reward
- They are removed before policy learning
- They receive higher probability, with probability depending exponentially on total reward