DalšíDalší průvodce
Hledání stromů Monte Carlo
Technický
Technický PRŮVODCE
Markovův řetězec Monte Carlo (MCMC) používá závislé tahy z pečlivě navrženého Markovova řetězce k přiblížení očekávání v rámci cílové distribuce, často Bayesovské posteriorní.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Vzorkování Metropolis-Hastings a Gibbs takové řetězce konstruují, ale užitečné odhady vyžadují pozornost na míchání, efektivní velikost vzorku a diagnostiku konvergence.
Mnoho posteriorních distribucí nelze vzorkovat přímo pomocí jednoduché metody nezávislého kreslení. MCMC buduje Markovův řetězec, jehož cílem je dlouhodobá stacionární distribuce. Každý nový stav závisí na aktuálním stavu a za vhodných podmínek mohou průměry napříč losováním přiblížit pozdější očekávání. Protože jsou losování závislá, počet uložených řádků není stejný jako množství nezávislých informací. V Metropolis-Hastings distribuce návrhů navrhuje kandidátský stát. Algoritmus akceptuje tohoto kandidáta s pravděpodobností založenou na poměru cílových hustot, a pokud je návrh asymetrický, s korekcí na dopřednou a zpětnou pravděpodobnost návrhu. Pokud odmítne, řetězec zopakuje předchozí stav. Symetrický návrh náhodné procházky zjednodušuje poměr, ale špatně škálovaný návrh se může pohybovat příliš zřídka nebo dělat neefektivní kroky. Gibbsovo vzorkování je speciální přístup podmíněné aktualizace: vzorkujte každou proměnnou z jejího úplného podmíněného vzhledem k aktuálním hodnotám ostatních. Funguje to, když jsou ty podmíněné distribuce k dispozici a řetězec má vhodné vlastnosti. Představte si jednorozměrný cíl, kde jsou návrhy často odmítnuty, protože velikosti kroků jsou příliš velké. Řetězec opakuje stavy, zvyšuje autokorelaci a snižuje efektivní velikost vzorku. Velmi malé kroky mohou přijímat často, ale objevovat pomalu. Mezi přijetím a pohybem existuje kompromis a diagnostika by měla zkoumat, zda různé řetězce zkoumají stejné oblasti. Zahození počátečního zahřívání může snížit závislost na inicializaci, ale neexistuje žádný pevný počet tahů, který by zaručoval konvergenci. Spusťte několik řetězců z rozptýlených výchozích bodů, zkontrolujte grafy stop a prozkoumejte R-hat a efektivní velikost vzorku pro množství, na kterých záleží. Tato diagnostika nemusí odhalit všechny patologie, zejména u oddělených modů nebo špatně prozkoumaných ocasů. Zkontrolujte také varování specifická pro vzorkovač a chybu Monte Carlo. MCMC odhaduje numerickou nejistotu z konečné simulace; neodstraňují nejistotu ve statistickém modelu nebo datech. Uveďte, co bylo odebráno, jak to bylo diagnostikováno a které zadní souhrny jsou dostatečně spolehlivé pro rozhodnutí.
Hypotetický posterior má dva parametry s korelovaným tvarem. Metropolis-Hastings navrhne blízkého kandidáta a přijme ho podle poměru cílové hustoty a opravy návrhu; odmítnuté návrhy opustí řetězec ve stávajícím stavu.
Vzorkovač Gibbs aktualizuje parametr čerpáním z jeho podmíněné distribuce dané aktuálními hodnotami všech ostatních parametrů. Opakování těchto podmíněných aktualizací vytváří společný řetězec, když jsou splněny podmínky pro vzorkovač.
Tým provádí několik řetězců z rozptýlených počátečních hodnot a porovnává grafy stop, hodnostně normalizované R-hat a objemové/ocasní efektivní velikosti vzorků. Samotné podobné prostředky nejsou považovány za důkaz, že každý řetězec prozkoumal cíl.
Dva tisíce vysoce autokorelovaných losování může obsahovat méně informací než stejný počet nezávislých losování. Efektivní velikost vzorku odhaduje tuto ztrátu informací pro množství zájmu.
Bayesovské analýzy mohou komunikovat spolehlivost simulace hlášením počtu řetězců, zahřívání, R-hat, hromadného a koncového ESS, chyb Monte Carlo a varování vzorkovače se zadními souhrny. Týmy by si měly vybrat diagnostiku spojenou s jejich skutečnými odhady, včetně nejmenších pravděpodobností, když rozhodnutí závisí na vzácných událostech. Pokud se řetězce neshodnou nebo zkoumají pomalu, prodlužte vzorkování až po pochopení geometrie a chování vzorkovače. Lepší automatizovaná diagnostika může odhalit problémy, ale recenzenti musí stále zkoumat strukturu modelu a chování trasování. Díky tomu jsou konečné výpočetní limity viditelné místo toho, aby byl prezentován pozdější odhad, jako by to byl přesný výpočet.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Markovův řetězec Monte Carlo (MCMC) používá závislé tahy z pečlivě navrženého Markovova řetězce k přiblížení očekávání v rámci cílové distribuce, často Bayesovské posteriorní. Vzorkování Metropolis-Hastings a Gibbs takové řetězce konstruují, ale užitečné odhady vyžadují pozornost na míchání, efektivní velikost vzorku a diagnostiku konvergence.
Markovův řetězec spojuje po sobě jdoucí tahy, takže autokorelace snižuje nezávislé informace reprezentované velikostí vzorku.
Poměr přijetí zahrnuje q(aktuální|kandidát)/q(kandidát|aktuální) k opravě asymetrie návrhu.
Každý Gibbsův krok čerpá z jedné plné podmíněné podmíněné aktuálními hodnotami zbývajících proměnných.
Různé počáteční stavy pomáhají diagnostikovat, zda řetězce konvergují a mísí se v rámci společné cílové distribuce.
ESS shrnuje, kolik informací závislých losování poskytuje pro určité množství ve srovnání s nezávislými vzorky.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Hledání stromů Monte Carlo
Technický