Quiz dotyczący dostrajania hiperparametrów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co odróżnia hiperparametr od zwykłego parametru modelu?
   • Hiperparametry są ustawiane przed szkoleniem i nie są uczone bezpośrednio z danych
   • Hiperparametry są zapamiętywane automatycznie poprzez opadanie gradientu podczas treningu
   • Hiperparametry istnieją tylko w modelach liniowych
   • Nie ma między nimi żadnej istotnej różnicy
2. Który z hiperparametrów jest powszechnie uważany za najskuteczniejszy w procesie głębokiego uczenia się?
   • Przypadkowe ziarno
   • Szybkość uczenia się
   • Format pliku zbioru danych
   • Nazwa zmiennej optymalizatora
3. Dlaczego wyszukiwanie losowe często przewyższa wyszukiwanie siatki w przypadku dostrajania hiperparametrów?
   • Zawsze próbuje więcej kombinacji całkowitych
   • Nie wymaga zestawu walidacyjnego
   • Próbkuje przestrzeń bardziej efektywnie, znajdując dobre wartości bez wyczerpującego pokrywania każdego punktu siatki
   • Uczy się jednocześnie wag i hiperparametrów
4. W jaki sposób optymalizacja Bayesa wybiera konfigurację hiperparametrów, którą należy wypróbować w następnej kolejności?
   • Za każdym razem wybiera konfiguracje całkowicie losowo
   • Zawsze wybiera konfigurację z największą liczbą warstw
   • Kopiuje dokładnie ustawienia z poprzedniej wersji próbnej
   • Tworzy model, w którym ustawienia wyglądają obiecująco, i równoważy badanie niepewności z wykorzystaniem dobrych wyników
5. Dlaczego ostateczny zestaw testowy musi pozostać niezmieniony podczas dostrajania hiperparametrów?
   • Ponieważ dostrojenie do niego spowodowałoby wyciek informacji i dałoby zbyt optymistyczne oszacowanie rzeczywistej wydajności
   • Ponieważ zbiór testowy służy do obliczania wag
   • Ponieważ zbiór testowy jest zawsze mniejszy niż zbiór walidacyjny
   • Ponieważ hiperparametry są przechowywane w zestawie testowym
6. Jaki problem rozwiązuje schemat wczesnego zatrzymywania, taki jak Hyperband, w dostrajaniu hiperparametrów?
   • Eliminuje to potrzebę szybkości uczenia się
   • Oszczędza zasoby obliczeniowe, eliminując wcześniej nieefektywne próby i udostępniając zasoby obiecującym
   • Gwarantuje, że model nie będzie przeciążony
   • Konwertuje hiperparametry na parametry, których można się nauczyć
7. In Bayesian hyperparameter optimization, what role does the probabilistic surrogate model play?
   • It replaces training every candidate with a guaranteed exact score
   • It updates model weights during the final test
   • It estimates how promising configurations may be and guides the next trial
   • It labels the training examples
8. Why should tuning trials be compared on a validation set rather than the final test set?
   • The test set cannot contain labels
   • The validation set is always larger
   • The model cannot predict on a test set
   • Repeated test-set feedback would leak information and make the final estimate overoptimistic