Κουίζ Βαθύς Μάθησης Bayesian

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Πώς ένα Bayesian νευρωνικό δίκτυο αντιμετωπίζει τα βάρη του διαφορετικά από ένα τυπικό;
   • Αντιμετωπίζει κάθε βάρος ως κατανομή πιθανότητας και όχι ως ενιαία σταθερή τιμή
   • Χρησιμοποιεί ακέραια βάρη αντί για δεκαδικούς
   • Αφαιρεί εντελώς τα βάρη
   • Μοιράζεται ένα βάρος σε όλα τα στρώματα
2. What can a Bayesian approach provide that a single fixed-weight network does not directly represent?
   • A guarantee that every confidence score is calibrated
   • A distribution of predictions that reflects uncertainty about model weights
   • A proof that the model will detect every unfamiliar input
   • A way to remove all noise from the data
3. How can epistemic uncertainty change as relevant, representative training data are added?
   • It is guaranteed to reach zero with any added data
   • It is identical to label noise
   • It may decrease under the chosen model and data assumptions
   • It always increases linearly
4. Γιατί χρειάζονται προσεγγίσεις όπως το συμπέρασμα μεταβλητής ή το MCMC;
   • Επειδή τα νευρωνικά δίκτυα δεν έχουν λειτουργία απώλειας
   • Επειδή οι GPU δεν μπορούν να κάνουν προσθήκη
   • Γιατί τα βάρη πρέπει να είναι ακέραιοι
   • Επειδή το ακριβές οπίσθιο πάνω από εκατομμύρια βάρη είναι υπολογιστικά δυσεπίλυτο
5. Τι κάνει η εγκατάλειψη του Μόντε Κάρλο για να εκτιμήσει την αβεβαιότητα;
   • Διατηρεί ενεργή την εγκατάλειψη τη στιγμή της δοκιμής και εκτελεί το δίκτυο πολλές φορές, χρησιμοποιώντας την εξάπλωση των εξόδων
   • Απενεργοποιεί την εγκατάλειψη και προπονείται περισσότερο
   • Αφαιρεί οριστικά όλους τους νευρώνες
   • Αντικαθιστά την απώλεια με τυχαίο θόρυβο
6. Το συμπέρασμα μεταβλητής επαναπλαισιώνει την εκ των υστέρων εκτίμηση ως τι είδους πρόβλημα;
   • Πρόβλημα ταξινόμησης
   • Ένα πρόβλημα βελτιστοποίησης που ελαχιστοποιεί την απόκλιση KL (μέσω του ELBO)
   • Ένα καθαρά τυχαίο πρόβλημα δειγματοληψίας χωρίς στόχο
   • Πρόβλημα σχεδιασμού υλικού
7. How does Bayes’ rule relate a prior, likelihood, and posterior?
   • The posterior is the prior plus the likelihood, without normalization
   • It is the likelihood divided by the prior without normalization
   • The posterior is proportional to the prior times the likelihood
   • It is the fixed point estimate of the most likely weight vector
8. How does MCMC approximate a Bayesian neural-network posterior?
   • By training a single point estimate with dropout disabled
   • By ranking model outputs with a fixed rule
   • By minimizing an ELBO with a simpler variational family
   • By drawing samples through a Markov chain whose stationary distribution targets the posterior