ДалееСледующее руководство
Поиск по дереву Монте-Карло
Технический
Техническое РУКОВОДСТВО
Цепь Маркова Монте-Карло (MCMC) использует зависимые выборки из тщательно разработанной цепи Маркова для аппроксимации ожиданий при целевом распределении, часто байесовском апостериорном.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Выборки Метрополиса-Гастингса и Гиббса строят такие цепочки, но полезные оценки требуют внимания к смешиванию, эффективному размеру выборки и диагностике конвергенции.
Многие апостериорные распределения не могут быть выбраны напрямую с помощью простого метода независимого отбора. MCMC строит цепь Маркова, целью которой является долгосрочное стационарное распределение. Каждое новое состояние зависит от текущего состояния, и при подходящих условиях средние значения по результатам могут приблизительно соответствовать апостериорным ожиданиям. Поскольку розыгрыши являются зависимыми, количество сохраняемых строк не совпадает с количеством независимой информации. В Метрополис-Гастингс распределение предложений предполагает штат-кандидат. Алгоритм принимает этого кандидата с вероятностью, основанной на соотношении целевых плотностей и, если предложение асимметрично, с поправкой на вероятности прямого и обратного предложения. Если он отклоняется, цепочка повторяет предыдущее состояние. Симметричное предложение случайного блуждания упрощает соотношение, но плохо масштабированное предложение может двигаться слишком редко или предпринимать неэффективные шаги. Выборка Гиббса — это особый подход условного обновления: выборка каждой переменной из ее полной условной переменной с учетом текущих значений остальных. Это работает, когда эти условные распределения доступны и цепочка имеет подходящие свойства. Представьте себе одномерную цель, предложения которой часто отклоняются из-за слишком большого размера шага. Цепочка повторяет состояния, увеличивая автокорреляцию и уменьшая эффективный размер выборки. Очень маленькие шаги можно принимать часто, но исследовать медленно. Существует компромисс между принятием и перемещением, и диагностика должна выяснить, исследуют ли разные сети одни и те же регионы. Отказ от начальной разминки может уменьшить зависимость от инициализации, но не существует фиксированного количества отрисовок, гарантирующего сходимость. Запускайте несколько цепочек из разбросанных начальных точек, проверяйте графики трассировок и проверяйте R-шляпу и эффективный размер выборки на наличие значимых количеств. Такая диагностика может не выявить всех патологий, особенно при разделенных модах или плохо исследованных хвостах. Также проверьте предупреждения, относящиеся к пробоотборнику, и ошибку Монте-Карло. MCMC оценивает числовую неопределенность на основе конечного моделирования; они не устраняют неопределенность в статистической модели или данных. Сообщите, какие образцы были взяты, как был поставлен диагноз и какие ретроспективные данные достаточно надежны для принятия решения.
Гипотетическая задняя часть имеет два параметра коррелирующей формы. Метрополис-Гастингс предлагает ближайшего кандидата и принимает его в соответствии с соотношением целевой плотности и корректировкой предложения; отклоненные предложения оставляют цепочку в ее текущем состоянии.
Сэмплер Гиббса обновляет параметр, извлекая из его условного распределения данные текущие значения всех других параметров. Повторение этих условных обновлений создает совместную цепочку, когда условия для сэмплера выполняются.
Команда запускает несколько цепочек на основе разбросанных начальных значений и сравнивает графики трассировок, нормализованную по рангам R-шляпу и эффективные размеры выборки «масса/хвост». Подобные средства сами по себе не считаются доказательством того, что каждая цепочка исследовала цель.
Две тысячи высокоавтокоррелированных выборок могут содержать меньше информации, чем такое же количество независимых выборок. Эффективный размер выборки оценивает эту потерю информации для интересующей величины.
Байесовский анализ может обеспечить надежность моделирования, сообщая о количестве цепочек, прогреве, R-шляпе, объемной и хвостовой ESS, ошибках Монте-Карло и предупреждениях пробоотборника с апостериорными сводками. Командам следует выбирать диагностику, привязанную к их фактическим оценкам, включая хвостовые вероятности, когда решения зависят от редких событий. Если цепочки расходятся во мнениях или исследуют медленно, расширяйте выборку только после понимания геометрии и поведения пробоотборника. Более совершенная автоматизированная диагностика может выявить проблемы, но рецензентам все равно необходимо изучить структуру модели и поведение трассировки. Это делает видимыми конечные пределы вычислений вместо представления апостериорной оценки, как если бы это был точный расчет.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Цепь Маркова Монте-Карло (MCMC) использует зависимые выборки из тщательно разработанной цепи Маркова для аппроксимации ожиданий при целевом распределении, часто байесовском апостериорном. Выборки Метрополиса-Гастингса и Гиббса строят такие цепочки, но полезные оценки требуют внимания к смешиванию, эффективному размеру выборки и диагностике конвергенции.
Цепь Маркова связывает последовательные выборки, поэтому автокорреляция уменьшает независимую информацию, представленную размером выборки.
Коэффициент принятия включает q(текущий|кандидат)/q(кандидат|текущий) для исправления асимметрии предложения.
Каждый шаг Гиббса основан на одном полном условном условии на текущих значениях остальных переменных.
Различные начальные состояния помогают диагностировать, сходятся ли цепи и смешиваются ли они в пределах общего целевого распределения.
ESS суммирует, сколько информации дает выборка, зависящая от количества, по сравнению с независимыми выборками.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Поиск по дереву Монте-Карло
Технический