Câu đố học tập sâu Bayesian

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Mạng lưới thần kinh Bayesian xử lý trọng số của nó khác với mạng tiêu chuẩn như thế nào?
   • Nó coi mỗi trọng số là một phân bố xác suất thay vì một giá trị cố định duy nhất
   • Nó sử dụng trọng số nguyên thay vì số thập phân
   • Nó loại bỏ hoàn toàn trọng lượng
   • Nó chia sẻ một trọng lượng trên tất cả các lớp
2. What can a Bayesian approach provide that a single fixed-weight network does not directly represent?
   • A guarantee that every confidence score is calibrated
   • A distribution of predictions that reflects uncertainty about model weights
   • A proof that the model will detect every unfamiliar input
   • A way to remove all noise from the data
3. How can epistemic uncertainty change as relevant, representative training data are added?
   • It is guaranteed to reach zero with any added data
   • It is identical to label noise
   • It may decrease under the chosen model and data assumptions
   • It always increases linearly
4. Tại sao lại cần những phép tính gần đúng như suy luận biến phân hoặc MCMC?
   • Vì mạng nơ-ron không có hàm mất mát
   • Bởi vì GPU không thể thực hiện phép cộng
   • Vì trọng số phải là số nguyên
   • Bởi vì phần sau chính xác trên hàng triệu trọng lượng là khó tính toán
5. Việc bỏ học ở Monte Carlo làm gì để ước tính sự không chắc chắn?
   • Duy trì trạng thái bỏ hoạt động tại thời điểm thử nghiệm và chạy mạng nhiều lần bằng cách sử dụng sự phân bổ đầu ra
   • Tắt bỏ học và đào tạo lâu hơn
   • Loại bỏ vĩnh viễn tất cả các tế bào thần kinh
   • Thay thế sự mất mát bằng tiếng ồn ngẫu nhiên
6. Suy luận biến phân điều chỉnh lại ước tính hậu nghiệm như loại vấn đề gì?
   • Một vấn đề sắp xếp
   • Một vấn đề tối ưu hóa nhằm giảm thiểu sự phân kỳ KL (thông qua ELBO)
   • Một vấn đề lấy mẫu ngẫu nhiên thuần túy không có mục tiêu
   • Vấn đề thiết kế phần cứng
7. How does Bayes’ rule relate a prior, likelihood, and posterior?
   • The posterior is the prior plus the likelihood, without normalization
   • It is the likelihood divided by the prior without normalization
   • The posterior is proportional to the prior times the likelihood
   • It is the fixed point estimate of the most likely weight vector
8. How does MCMC approximate a Bayesian neural-network posterior?
   • By training a single point estimate with dropout disabled
   • By ranking model outputs with a fixed rule
   • By minimizing an ELBO with a simpler variational family
   • By drawing samples through a Markov chain whose stationary distribution targets the posterior