Байесов тест за дълбоко обучение

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Как байесовската невронна мрежа третира своите тегла по различен начин от стандартната?
   • Той третира всяко тегло като вероятностно разпределение, а не като единична фиксирана стойност
   • Той използва цели числа вместо десетични знаци
   • Премахва тежестите изцяло
   • Той споделя едно тегло за всички слоеве
2. What can a Bayesian approach provide that a single fixed-weight network does not directly represent?
   • A guarantee that every confidence score is calibrated
   • A distribution of predictions that reflects uncertainty about model weights
   • A proof that the model will detect every unfamiliar input
   • A way to remove all noise from the data
3. How can epistemic uncertainty change as relevant, representative training data are added?
   • It is guaranteed to reach zero with any added data
   • It is identical to label noise
   • It may decrease under the chosen model and data assumptions
   • It always increases linearly
4. Защо са необходими приближения като вариационен извод или MCMC?
   • Тъй като невронните мрежи нямат функция за загуба
   • Тъй като GPU не могат да добавят
   • Тъй като теглата трябва да са цели числа
   • Тъй като точният постериор над милиони тегла е изчислително неразрешим
5. Какво прави отпадането от Монте Карло за оценка на несигурността?
   • Поддържа отпадането активно по време на теста и стартира мрежата много пъти, използвайки разпространението на изходите
   • Изключва отпадането и тренира по-дълго
   • Премахва всички неврони за постоянно
   • Заменя загубата със случаен шум
6. Вариационният извод преформулира постериорната оценка като какъв вид проблем?
   • Проблем със сортирането
   • Проблем с оптимизация, който минимизира отклонението на KL (чрез ELBO)
   • Чист проблем с произволна извадка без цел
   • Проблем с дизайна на хардуера
7. How does Bayes’ rule relate a prior, likelihood, and posterior?
   • The posterior is the prior plus the likelihood, without normalization
   • It is the likelihood divided by the prior without normalization
   • The posterior is proportional to the prior times the likelihood
   • It is the fixed point estimate of the most likely weight vector
8. How does MCMC approximate a Bayesian neural-network posterior?
   • By training a single point estimate with dropout disabled
   • By ranking model outputs with a fixed rule
   • By minimizing an ELBO with a simpler variational family
   • By drawing samples through a Markov chain whose stationary distribution targets the posterior