Kvíz spojený s průvodcem · Těžko úroveň
Bayesovský kvíz hlubokého učení
Prozkoumejte Bayesovské sítě, nejisté váhy, zadní aproximace, výpadek Monte Carlo a kalibraci spolehlivosti na zadržených datech.
Otázka 1 z 8
Jak Bayesovská neuronová síť zachází se svými váhami odlišně od standardní?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jak Bayesovská neuronová síť zachází se svými váhami odlišně od standardní?
- S každou váhou zachází spíše jako s rozdělením pravděpodobnosti než s jedinou pevnou hodnotou
- Místo desetinných míst používá celočíselné váhy
- Zcela odstraňuje závaží
- Sdílí jednu váhu napříč všemi vrstvami
- What can a Bayesian approach provide that a single fixed-weight network does not directly represent?
- A guarantee that every confidence score is calibrated
- A distribution of predictions that reflects uncertainty about model weights
- A proof that the model will detect every unfamiliar input
- A way to remove all noise from the data
- How can epistemic uncertainty change as relevant, representative training data are added?
- It is guaranteed to reach zero with any added data
- It is identical to label noise
- It may decrease under the chosen model and data assumptions
- It always increases linearly
- Proč jsou potřebné aproximace jako variační inference nebo MCMC?
- Protože neuronové sítě nemají žádnou ztrátovou funkci
- Protože GPU neumí sčítat
- Protože váhy musí být celá čísla
- Protože přesný posterior nad miliony závaží je výpočetně neřešitelný
- Co dělá výpadek Monte Carlo pro odhad nejistoty?
- Udržuje výpadek aktivní v době testování a mnohokrát spouští síť pomocí rozložení výstupů
- Vypne výpadek a trénuje déle
- Trvale odstraní všechny neurony
- Nahrazuje ztrátu náhodným šumem
- Variační inference přeformuluje zadní odhad jako jaký druh problému?
- Problém s řazením
- Optimalizační problém, který minimalizuje divergenci KL (přes ELBO)
- Čistý problém náhodného výběru bez cíle
- Problém návrhu hardwaru
- How does Bayes’ rule relate a prior, likelihood, and posterior?
- The posterior is the prior plus the likelihood, without normalization
- It is the likelihood divided by the prior without normalization
- The posterior is proportional to the prior times the likelihood
- It is the fixed point estimate of the most likely weight vector
- How does MCMC approximate a Bayesian neural-network posterior?
- By training a single point estimate with dropout disabled
- By ranking model outputs with a fixed rule
- By minimizing an ELBO with a simpler variational family
- By drawing samples through a Markov chain whose stationary distribution targets the posterior