ДалееСледующее руководство
Сравнение страховых полисов с ИИ
Приложения
Техническое РУКОВОДСТВО
Проверка множества гипотез увеличивает вероятность получения хотя бы одного ложноположительного результата, даже если в каждом тесте используется один и тот же номинальный уровень значимости.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Процедуры множественных сравнений, такие как Бонферрони, контролируют семейную ошибку, а методы определения частоты ложных открытий контролируют ожидаемую долю ложных открытий среди отвергнутых гипотез при заданных условиях.
Проверка гипотезы на уровне альфа контролирует вероятность ложноположительного результата для одного указанного теста при его предположениях. Когда проверяется множество гипотез, вероятность хотя бы одного ложного отклонения во всем наборе может превышать альфу. Если каждая из 20 независимых нулевых гипотез проверяется с коэффициентом 0,05, вероятность отсутствия ложноположительных результатов составит 0,95, возведенную в 20-ю степень, примерно 0,358; поэтому вероятность одного или нескольких составляет около 0,642. Зависимость меняет этот расчет, но основная проблема множественности остается. Коэффициент семейных ошибок (FWER) — это вероятность хотя бы одного ложного отказа в семье. Процедура Бонферрони контролирует FWER, проверяя каждую из m гипотез при альфе, деленной на m, или, что эквивалентно, корректируя значения p путем умножения на m и ограничения единицей. Он прост и действителен в условиях широкой зависимости, но может быть консервативным, снижая мощность при выполнении большого количества тестов. Процедура понижения Холма также контролирует FWER и может быть менее консервативной, чем простой Бонферрони. Коэффициент ложных открытий (FDR) — это ожидаемая доля ложных открытий среди отклоненных гипотез, при этом обычное определение устанавливается равным нулю, когда отклонений нет. Бенджамини-Хохберг упорядочивает значения p от наименьшего к наибольшему и сравнивает каждое с пороговым значением, зависящим от ранга. Он часто предлагает больше возможностей, когда полезен широкий набор открытий, но его гарантия и интерпретация зависят от предположений о зависимости и процесса тестирования. Контроль FDR не означает, что каждый выбранный результат имеет одинаковую вероятность оказаться ложным. Определите семейство гипотез, основанных на научном или практическом вопросе, включая результаты, подгруппы и промежуточные взгляды, которые принадлежат друг другу. Прежде чем проверять результаты, выберите критерий ошибки. Укажите количество и характер испытаний, метод корректировки, скорректированные значения и оценки эффекта. Исправления не исправляют хакерские атаки, плохие измерения, сбивающие с толку или неверные предположения теста. Исследовательские результаты по-прежнему могут быть полезны для создания гипотез, но их следует называть исследовательскими и по возможности подтверждать новыми данными.
Гипотетическая группа тестирует 20 результатов на уровне значимости 0,05. При независимых истинных нулях вероятность хотя бы одного ложноположительного результата составляет 1–0,95^20, около 0,64, что иллюстрирует, почему изолированные пороговые значения p-значения могут вводить в заблуждение.
Для 10 запланированных тестов и семейного альфа 0,05 Бонферрони использует пороговое значение для каждого теста 0,005. Значение p 0,01 не соответствует этому скорректированному пороговому значению, хотя интерпретация по-прежнему зависит от плана тестирования.
Аналитик исследует тысячи генов и использует процедуру Бенджамини-Хохберга для контроля частоты ложных открытий, а затем рассматривает открытия как кандидатов на репликацию, а не как подтвержденные механизмы.
Команда продукта записывает свою основную конечную точку перед изучением вторичных показателей. Заранее определив семейство тестов, вы сможете избежать выбора коррекции только после того, как увидите, какие результаты являются значимыми.
Команды могут сделать результаты нескольких тестов более достоверными, предварительно зарегистрировав основную семью, различая подтверждающий анализ от исследовательского и сохраняя все результаты тестирования в отчетах. Когда анализируется множество связанных результатов, аналитики должны выбрать поправку, соответствующую стоимости любого ложного срабатывания и полезности потенциального открытия. Воспроизведение и независимая проверка остаются важными после корректировки. Будущие аналитические системы смогут отображать количество сравнений и метод коррекции вместе с результатами, помогая читателям увидеть, когда поразительный результат появился в результате широкого поиска, а не одного запланированного теста.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Проверка множества гипотез увеличивает вероятность получения хотя бы одного ложноположительного результата, даже если в каждом тесте используется один и тот же номинальный уровень значимости. Процедуры множественных сравнений, такие как Бонферрони, контролируют семейную ошибку, а методы определения частоты ложных открытий контролируют ожидаемую долю ложных открытий среди отвергнутых гипотез при заданных условиях.
Бонферрони ограничивает вероятность одного или нескольких ложных отказов в семье.
FDR определяется ожидаемой долей ложных открытий среди отвергнутых гипотез.
Методы FDR могут быть менее строгими, чем контроль FWER, когда полезно много потенциальных открытий.
Коррекция зависит от того, какие тесты считаются частью одного и того же семейства анализов.
Корректировки на множественность не исправляют ошибочные допущения в дизайне исследования, измерениях или тестировании.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Сравнение страховых полисов с ИИ
Приложения