Quiz dotyczący głębokiego uczenia się Bayesa

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. W jaki sposób Bayesowska sieć neuronowa traktuje swoje wagi inaczej niż standardowa?
   • Traktuje każdą wagę jako rozkład prawdopodobieństwa, a nie pojedynczą stałą wartość
   • Używa wag całkowitych zamiast miejsc po przecinku
   • Całkowicie usuwa ciężary
   • Ma tę samą wagę na wszystkich warstwach
2. What can a Bayesian approach provide that a single fixed-weight network does not directly represent?
   • A guarantee that every confidence score is calibrated
   • A distribution of predictions that reflects uncertainty about model weights
   • A proof that the model will detect every unfamiliar input
   • A way to remove all noise from the data
3. How can epistemic uncertainty change as relevant, representative training data are added?
   • It is guaranteed to reach zero with any added data
   • It is identical to label noise
   • It may decrease under the chosen model and data assumptions
   • It always increases linearly
4. Dlaczego potrzebne są przybliżenia, takie jak wnioskowanie wariacyjne lub MCMC?
   • Ponieważ sieci neuronowe nie mają funkcji straty
   • Ponieważ procesory graficzne nie mogą dodawać
   • Ponieważ wagi muszą być liczbami całkowitymi
   • Ponieważ dokładna późniejsza wartość dla milionów ciężarów jest trudna obliczeniowo
5. Co robi osoba, która porzuciła naukę w Monte Carlo, aby oszacować niepewność?
   • Utrzymuje przerwanie aktywności w czasie testu i wielokrotnie uruchamia sieć, wykorzystując rozproszenie wyjść
   • Wyłącza porzucenie i trenuje dłużej
   • Trwale usuwa wszystkie neurony
   • Zastępuje stratę losowym szumem
6. Wnioskowanie wariacyjne przekształca estymację a posteriori w postać jakiego rodzaju problemu?
   • Problem z sortowaniem
   • Problem optymalizacji minimalizujący rozbieżność KL (poprzez ELBO)
   • Problem czysto losowego próbkowania bez celu
   • Problem z projektowaniem sprzętu
7. How does Bayes’ rule relate a prior, likelihood, and posterior?
   • The posterior is the prior plus the likelihood, without normalization
   • It is the likelihood divided by the prior without normalization
   • The posterior is proportional to the prior times the likelihood
   • It is the fixed point estimate of the most likely weight vector
8. How does MCMC approximate a Bayesian neural-network posterior?
   • By training a single point estimate with dropout disabled
   • By ranking model outputs with a fixed rule
   • By minimizing an ELBO with a simpler variational family
   • By drawing samples through a Markov chain whose stationary distribution targets the posterior