Quiz dotyczący uczenia się przez naśladownictwo

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. W jaki sposób agent nabywa swoje zachowanie w procesie uczenia się przez naśladownictwo?
   • Uczenie się polityki poprzez kopiowanie demonstracji ekspertów
   • Maksymalizacja ręcznie zaprojektowanej nagrody poprzez losową eksplorację
   • Kompresja sieci neuronowej do działania na małych urządzeniach
   • Generowanie obrazów z podpowiedzi tekstowych
2. Klonowanie behawioralne stanowi ramy uczenia się przez naśladownictwo – jakiego rodzaju problem?
   • Klastrowanie bez nadzoru
   • Nadzorowane uczenie się mapowań stanu do działania
   • Pokolenie przeciwnika
   • Kształtowanie nagród
3. Jaki problem powoduje, że klonowanie behawioralne nie działa w przypadku długich sekwencji akcji?
   • Nadmierne dopasowanie do funkcji nagrody
   • Znikające gradienty w koderze
   • Błąd złożony wynikający z przesunięcia dystrybucji
   • Katastrofalne zapomnienie starych klas
4. W jaki sposób algorytm DAgger radzi sobie z tą słabością?
   • Całkowicie usuwając eksperta z pętli
   • Zwiększając współczynnik rabatu
   • Dodając losowy szum do wszystkich działań
   • Zadając ekspertowi pytania dotyczące stanów, uczeń faktycznie odwiedza go i agreguje te dane
5. Dlaczego w przypadku takich zadań jak prowadzenie pojazdu często preferuje się uczenie się przez naśladownictwo zamiast uczenia się przez wzmacnianie?
   • Demonstracje są łatwiejsze do zapewnienia niż poprawna funkcja nagrody
   • Gwarantuje optymalne zachowanie
   • Nigdy nie potrzebuje żadnych danych
   • Działa szybciej tylko przy wnioskowaniu
6. What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
   • It is guaranteed to improve beyond the expert
   • Its behavior is not guaranteed there because those states may be out of distribution
   • It can only produce random actions
   • It automatically queries an expert at every step
7. In one DAgger iteration, what does the learner do before requesting expert labels?
   • Deletes all earlier demonstrations
   • Trains only on randomly generated labels
   • Rolls out its current policy and records the states it actually visits
   • Replaces the expert policy permanently
8. After the expert labels the states visited by the current policy, what happens to that data?
   • It is used only as an evaluation metric
   • It replaces the original observation space
   • It is discarded after one gradient step
   • It is aggregated with previous labeled data for retraining