Quiz dotyczący uczenia się ze wzmocnieniem w trybie offline

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co definiuje uczenie się przez wzmacnianie w trybie offline (wsadowym)?
   • Uczenie się na podstawie stałego zestawu danych bez interakcji z nowym środowiskiem
   • Nauka tylko poprzez ciągłą eksplorację na żywo
   • Trening bez sygnału nagrody
   • Uruchamianie wnioskowania bez żadnego modelu
2. Jakie jest główne wyzwanie techniczne w RL offline?
   • Brak jakichkolwiek danych
   • Przesunięcie dystrybucyjne i przeszacowanie działań pozadystrybucyjnych
   • Nadmierna eksploracja Internetu
   • Za mało parametrów w sieci
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. W jaki sposób konserwatywny Q-Learning (CQL) walczy z przeszacowaniem?
   • Zawyżając wartości niewidocznych działań
   • Całkowicie usuwając nagrodę
   • Odkrywając więcej w prawdziwym świecie
   • Poprzez regularyzację wartości Q w dół dla działań poza dystrybucją
5. W jaki sposób Transformator decyzyjny zmienia strukturę RL w trybie offline?
   • Jako modelowanie sekwencji, które przewiduje działania uzależnione od pożądanego zwrotu
   • Jako skupienie stanów
   • Jako czyste losowe wyszukiwanie
   • Jako nadzorowana klasyfikacja obrazu
6. Dlaczego nie można po prostu używać standardowych algorytmów RL online w trybie offline?
   • Nie mają sieci neuronowej
   • Nie mogą zbierać danych korygujących, aby naprawić przeszacowanie wartości
   • Nigdy nie korzystają z nagród
   • Nie wymagają żadnej polityki
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions