Quiz regularyzacyjny

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Why would a practitioner add regularization when a model fits training-specific noise?
   • To guarantee zero training error
   • To remove the need for validation data
   • To guarantee a faster GPU kernel
   • To discourage overfitting and evaluate whether unseen-data performance improves
2. Która technika regularyzacji najprawdopodobniej doprowadzi niektóre wagi dokładnie do zera, skutecznie wybierając cechy?
   • Regularyzacja L2 (zanik masy)
   • Regularyzacja L1
   • Normalizacja wsadowa
   • Zwiększanie tempa uczenia się
3. W jaki sposób porzucenie pracy reguluje sieć neuronową podczas treningu?
   • Trwale usuwa warstwy z sieci
   • Dodaje kwadratowe wagi do funkcji straty
   • Losowo wyłącza neurony na każdym kroku, więc nie mogą się przystosować
   • Zatrzymuje szkolenie, gdy wzrasta utrata walidacji
4. Co powoduje zwiększenie lambda w przypadku uregulowanej straty „błąd + lambda × kara”?
   • Wzmacnia karę, popychając model w stronę prostszych rozwiązań
   • Osłabia karę i pozwala na większe ciężary
   • Całkowicie usuwa termin błędu
   • Nie ma wpływu na ciężary
5. Dlaczego wczesne zatrzymanie można uznać za formę regularyzacji?
   • Ponieważ dodaje utratę wagi do straty
   • Ponieważ zatrzymuje szkolenie, zanim model zacznie dopasowywać szum do danych
   • Ponieważ z czasem zwiększa pojemność modelu
   • Ponieważ losowo usuwa neurony
6. What can happen when regularization is strengthened beyond what a task needs?
   • Both training and test accuracy must improve
   • The penalty becomes unrelated to the objective
   • Validation becomes unnecessary
   • The model can underfit useful structure even if variance decreases
7. For a regularization example with weights minus two and one, what are the unscaled L1 and sum-of-squares L2 penalties?
   • L1 is three and L2 is five
   • L1 is minus one and L2 is three
   • L1 is five and L2 is three
   • Both penalties are minus two
8. A regularized objective has prediction error two, lambda one-half, and penalty six. What is its total value?
   • Osiem
   • Trzy
   • Pięć
   • Jeden