คู่มือทางเทคนิค

การแก้ไขการเปรียบเทียบหลายรายการ

Testing many hypotheses increases the chance of obtaining at least one false positive, even when each test uses the same nominal significance level.

  • อ่าน 3 นาที
  • อัปเดตล่าสุด
เริ่มอ่านทำแบบทดสอบ
บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. ผลกระทบเชิงกลยุทธ์
  4. The Future of Multiple Comparisons Correction
  5. การใช้งานจริงในโลกแห่งความเป็นจริง
  6. ความเสี่ยงและรั้ว
  7. แผนงานการดำเนินงาน
  8. สำรวจต่อไป
  9. คำถามที่พบบ่อย

ภาพรวม

Multiple-comparisons procedures such as Bonferroni control family-wise error, while false-discovery-rate methods control the expected proportion of false discoveries among rejected hypotheses under stated conditions.

เจาะลึก

A hypothesis test at level alpha controls a false-positive probability for one specified test under its assumptions. When many hypotheses are tested, the chance of at least one false rejection across the set can exceed alpha. If 20 independent null hypotheses are each tested at 0.05, the probability of no false positives is 0.95 raised to the 20th power, about 0.358; therefore the chance of one or more is about 0.642. Dependence changes this calculation, but the basic multiplicity issue remains. Family-wise error rate (FWER) is the probability of at least one false rejection in a family. The Bonferroni procedure controls FWER by testing each of m hypotheses at alpha divided by m, or equivalently adjusting p-values by multiplying by m and capping at one. It is simple and valid under broad dependence conditions, but can be conservative, reducing power when many tests are performed. Holm's step-down procedure also controls FWER and can be less conservative than simple Bonferroni. False discovery rate (FDR) is the expected proportion of false discoveries among rejected hypotheses, with a conventional definition set to zero when there are no rejections. Benjamini-Hochberg orders p-values from smallest to largest and compares each with a rank-dependent threshold. It often offers more power when a broad set of discoveries is useful, but its guarantee and interpretation depend on assumptions about dependence and the testing process. FDR control does not mean every selected result has the same probability of being false. Define the family of hypotheses based on the scientific or operational question, including outcomes, subgroups and interim looks that belong together. Choose an error criterion before inspecting results. Report the number and nature of tests, adjustment method, adjusted values and effect estimates. Corrections do not repair p-hacking, poor measurement, confounding or invalid test assumptions. Exploratory findings can still be useful for generating hypotheses, but they should be labeled as exploratory and validated with new data when possible.

ผลกระทบเชิงกลยุทธ์

ต้นทุนและงบประมาณ

การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี

การตัดสินใจที่ชัดเจนยิ่งขึ้น

การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด

การควบคุมคุณภาพ

ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

The Future of Multiple Comparisons Correction

Teams can make multi-test results more trustworthy by preregistering the primary family, distinguishing confirmatory from exploratory analyses and preserving all tested outcomes in reports. When many related outcomes are reviewed, analysts should select a correction aligned with the cost of any false positive versus the usefulness of candidate discovery. Replication and independent validation remain important after adjustment. Future analytics systems can expose the number of comparisons and the correction method alongside results, helping readers see when a striking finding emerged from a broad search rather than a single planned test.

การใช้งานจริงในโลกแห่งความเป็นจริง

A hypothetical team tests 20 outcomes at significance level 0.05. Under independent true nulls, the chance of at least one false positive is 1 - 0.95^20, about 0.64, illustrating why isolated p-value thresholds can mislead.

For 10 planned tests and family-wise alpha 0.05, Bonferroni uses a per-test threshold of 0.005. A p-value of 0.01 would not pass this adjusted cutoff, though interpretation still depends on the testing plan.

An analyst explores thousands of genes and uses a Benjamini-Hochberg procedure to control false discovery rate, then treats discoveries as candidates for replication rather than confirmed mechanisms.

A product team records its primary endpoint before examining secondary metrics. Defining the family of tests in advance helps avoid choosing a correction only after seeing which results are significant.

ความเสี่ยงและรั้ว

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้

  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป

  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

แผนงานการดำเนินงาน

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน

  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง

  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้

  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

เกณฑ์มาตรฐาน AI

ใช้การประเมินอย่างเหมาะสมเมื่อเปรียบเทียบตัวเลือกทางเทคนิคอ่านคู่มือ

การเรียนรู้แบบเสริมกำลัง

เจาะลึกถึงกลยุทธ์การฝึกอบรมทางเทคนิคอ่านคู่มือ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Multiple Comparisons Correction quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

เริ่มแบบทดสอบ

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

คำถามที่พบบ่อย

What is Multiple Comparisons Correction?

Testing many hypotheses increases the chance of obtaining at least one false positive, even when each test uses the same nominal significance level. Multiple-comparisons procedures such as Bonferroni control family-wise error, while false-discovery-rate methods control the expected proportion of false discoveries among rejected hypotheses under stated conditions.

Which error criterion does Bonferroni target?

Bonferroni bounds the probability of one or more false rejections in the family.

What does FDR concern among rejected hypotheses?

FDR is defined around the expected false-discovery proportion among rejected hypotheses.

Why might analysts prefer an FDR procedure for a large discovery search?

FDR methods can be less stringent than FWER control when many candidate discoveries are useful.

Why define the hypothesis family before examining results?

The correction depends on which tests are considered part of the same analysis family.

What does a corrected p-value not fix?

Multiplicity adjustments do not repair flawed study design, measurement or test assumptions.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้