Байесовский тест на глубокое обучение

Ответы и пояснения появляются по мере прохождения теста.

1. Чем байесовская нейронная сеть обрабатывает свои веса иначе, чем стандартная?
   • Он рассматривает каждый вес как распределение вероятностей, а не как одно фиксированное значение.
   • Он использует целые веса вместо десятичных дробей.
   • Он полностью удаляет вес
   • Он разделяет один вес на все слои.
2. What can a Bayesian approach provide that a single fixed-weight network does not directly represent?
   • A guarantee that every confidence score is calibrated
   • A distribution of predictions that reflects uncertainty about model weights
   • A proof that the model will detect every unfamiliar input
   • A way to remove all noise from the data
3. How can epistemic uncertainty change as relevant, representative training data are added?
   • It is guaranteed to reach zero with any added data
   • It is identical to label noise
   • It may decrease under the chosen model and data assumptions
   • It always increases linearly
4. Зачем нужны такие приближения, как вариационный вывод или MCMC?
   • Потому что в нейронных сетях нет функции потерь
   • Поскольку графические процессоры не могут выполнять сложение
   • Поскольку веса должны быть целыми числами
   • Потому что точная апостериорная оценка миллионов весов вычислительно неразрешима.
5. Что делает отсев Монте-Карло для оценки неопределенности?
   • Сохраняет отключение активным во время тестирования и многократно запускает сеть, используя распределение выходных данных.
   • Отключает отсев и тренируется дольше
   • Удаляет все нейроны навсегда
   • Заменяет потери случайным шумом
6. Вариационный вывод переосмысливает апостериорную оценку как проблему какого рода?
   • Проблема с сортировкой
   • Задача оптимизации, которая минимизирует расхождение KL (с помощью ELBO)
   • Проблема чистой случайной выборки без цели
   • Проблема с аппаратным дизайном
7. How does Bayes’ rule relate a prior, likelihood, and posterior?
   • The posterior is the prior plus the likelihood, without normalization
   • It is the likelihood divided by the prior without normalization
   • The posterior is proportional to the prior times the likelihood
   • It is the fixed point estimate of the most likely weight vector
8. How does MCMC approximate a Bayesian neural-network posterior?
   • By training a single point estimate with dropout disabled
   • By ranking model outputs with a fixed rule
   • By minimizing an ELBO with a simpler variational family
   • By drawing samples through a Markov chain whose stationary distribution targets the posterior