Техническое РУКОВОДСТВО

Коррекция множественных сравнений

Проверка множества гипотез увеличивает вероятность получения хотя бы одного ложноположительного результата, даже если в каждом тесте используется один и тот же номинальный уровень значимости.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее коррекции множественных сравнений
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Процедуры множественных сравнений, такие как Бонферрони, контролируют семейную ошибку, а методы определения частоты ложных открытий контролируют ожидаемую долю ложных открытий среди отвергнутых гипотез при заданных условиях.

Глубокое погружение

Проверка гипотезы на уровне альфа контролирует вероятность ложноположительного результата для одного указанного теста при его предположениях. Когда проверяется множество гипотез, вероятность хотя бы одного ложного отклонения во всем наборе может превышать альфу. Если каждая из 20 независимых нулевых гипотез проверяется с коэффициентом 0,05, вероятность отсутствия ложноположительных результатов составит 0,95, возведенную в 20-ю степень, примерно 0,358; поэтому вероятность одного или нескольких составляет около 0,642. Зависимость меняет этот расчет, но основная проблема множественности остается. Коэффициент семейных ошибок (FWER) — это вероятность хотя бы одного ложного отказа в семье. Процедура Бонферрони контролирует FWER, проверяя каждую из m гипотез при альфе, деленной на m, или, что эквивалентно, корректируя значения p путем умножения на m и ограничения единицей. Он прост и действителен в условиях широкой зависимости, но может быть консервативным, снижая мощность при выполнении большого количества тестов. Процедура понижения Холма также контролирует FWER и может быть менее консервативной, чем простой Бонферрони. Коэффициент ложных открытий (FDR) — это ожидаемая доля ложных открытий среди отклоненных гипотез, при этом обычное определение устанавливается равным нулю, когда отклонений нет. Бенджамини-Хохберг упорядочивает значения p от наименьшего к наибольшему и сравнивает каждое с пороговым значением, зависящим от ранга. Он часто предлагает больше возможностей, когда полезен широкий набор открытий, но его гарантия и интерпретация зависят от предположений о зависимости и процесса тестирования. Контроль FDR не означает, что каждый выбранный результат имеет одинаковую вероятность оказаться ложным. Определите семейство гипотез, основанных на научном или практическом вопросе, включая результаты, подгруппы и промежуточные взгляды, которые принадлежат друг другу. Прежде чем проверять результаты, выберите критерий ошибки. Укажите количество и характер испытаний, метод корректировки, скорректированные значения и оценки эффекта. Исправления не исправляют хакерские атаки, плохие измерения, сбивающие с толку или неверные предположения теста. Исследовательские результаты по-прежнему могут быть полезны для создания гипотез, но их следует называть исследовательскими и по возможности подтверждать новыми данными.

Реальная реализация

Гипотетическая группа тестирует 20 результатов на уровне значимости 0,05. При независимых истинных нулях вероятность хотя бы одного ложноположительного результата составляет 1–0,95^20, около 0,64, что иллюстрирует, почему изолированные пороговые значения p-значения могут вводить в заблуждение.

Для 10 запланированных тестов и семейного альфа 0,05 Бонферрони использует пороговое значение для каждого теста 0,005. Значение p 0,01 не соответствует этому скорректированному пороговому значению, хотя интерпретация по-прежнему зависит от плана тестирования.

Аналитик исследует тысячи генов и использует процедуру Бенджамини-Хохберга для контроля частоты ложных открытий, а затем рассматривает открытия как кандидатов на репликацию, а не как подтвержденные механизмы.

Команда продукта записывает свою основную конечную точку перед изучением вторичных показателей. Заранее определив семейство тестов, вы сможете избежать выбора коррекции только после того, как увидите, какие результаты являются значимыми.

Будущее коррекции множественных сравнений

Команды могут сделать результаты нескольких тестов более достоверными, предварительно зарегистрировав основную семью, различая подтверждающий анализ от исследовательского и сохраняя все результаты тестирования в отчетах. Когда анализируется множество связанных результатов, аналитики должны выбрать поправку, соответствующую стоимости любого ложного срабатывания и полезности потенциального открытия. Воспроизведение и независимая проверка остаются важными после корректировки. Будущие аналитические системы смогут отображать количество сравнений и метод коррекции вместе с результатами, помогая читателям увидеть, когда поразительный результат появился в результате широкого поиска, а не одного запланированного теста.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Multiple Comparisons Correction quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое коррекция множественных сравнений?

Проверка множества гипотез увеличивает вероятность получения хотя бы одного ложноположительного результата, даже если в каждом тесте используется один и тот же номинальный уровень значимости. Процедуры множественных сравнений, такие как Бонферрони, контролируют семейную ошибку, а методы определения частоты ложных открытий контролируют ожидаемую долю ложных открытий среди отвергнутых гипотез при заданных условиях.

На какой критерий ошибки ориентируется Бонферрони?

Бонферрони ограничивает вероятность одного или нескольких ложных отказов в семье.

Что касается Рузвельта среди отвергнутых гипотез?

FDR определяется ожидаемой долей ложных открытий среди отвергнутых гипотез.

Почему аналитики могут предпочесть процедуру FDR для поиска крупных открытий?

Методы FDR могут быть менее строгими, чем контроль FWER, когда полезно много потенциальных открытий.

Зачем определять семейство гипотез до изучения результатов?

Коррекция зависит от того, какие тесты считаются частью одного и того же семейства анализов.

Что не исправляет скорректированное значение p?

Корректировки на множественность не исправляют ошибочные допущения в дизайне исследования, измерениях или тестировании.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →