Quiz Wielorękich Bandytów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Główny kompromis w przypadku problemu wielorękiego bandyty leży pomiędzy:
   • Poszukiwanie i eksploatacja
   • Stronniczość i wariancja
   • Precyzja i pamięć
   • Trening i wnioskowanie
2. W problemach bandytów „żal” odnosi się do:
   • Pamięć używana przez algorytm
   • Skumulowana różnica w nagrodach w porównaniu z grą zawsze najlepszą ręką
   • Liczba dostępnych ramion
   • Czas na szkolenie modela
3. Do czego służy strategia zachłanności epsilon?
   • Zawsze wybiera rękę z najwyższą średnią
   • Nigdy nie bada żadnego ramienia
   • Przeważnie wykorzystuje najlepsze ramię, ale eksploruje losowo z prawdopodobieństwem epsilon
   • Ciągnie każde ramię jednakową liczbę razy w nieskończoność
4. Metoda górnej granicy ufności (UCB) opiera się na zasadzie:
   • Pesymizm w obliczu niepewności
   • Całkowicie ignorując niepewność
   • Tylko wybór losowy
   • Optymizm w obliczu niepewności
5. Próbkowanie Thompsona wybiera ramię poprzez:
   • Pobieranie próbek z tylnych przekonań każdego ramienia i odtwarzanie najlepszej próbki
   • Zawsze wybieraj ramię najmniej wyciągnięte
   • Wybieranie broni w ustalonej kolejności „każdy z każdym”.
   • Minimalizacja strat szkoleniowych
6. Czym kontekstowy bandyta różni się od standardowego?
   • Całkowicie ignoruje nagrody
   • Aby dokonać wyboru, wykorzystuje cechy bieżącej sytuacji
   • Ma tylko jedno ramię
   • Nie może się uczyć z biegiem czasu
7. In UCB, which arm usually receives a larger exploration bonus?
   • An arm whose sample count is largest
   • An arm with no uncertainty by definition
   • An arm that has been sampled relatively few times
   • An arm with a negative reward only
8. What does logarithmic regret growth indicate over a long run?
   • The algorithm receives zero reward after each round
   • The best arm changes at every step
   • Exploration stops before the first observation
   • The cumulative gap from always choosing the best arm grows much slower than the number of rounds