คู่มือทางเทคนิค

การแก้ไขการเปรียบเทียบหลายรายการ

การทดสอบสมมติฐานหลายๆ ข้อจะเพิ่มโอกาสในการได้รับผลบวกลวงอย่างน้อยหนึ่งครั้ง แม้ว่าการทดสอบแต่ละครั้งจะใช้ระดับนัยสำคัญที่ระบุเท่ากันก็ตาม

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการแก้ไขการเปรียบเทียบหลายรายการ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

ขั้นตอนการเปรียบเทียบหลายรายการ เช่น Bonferroni ควบคุมข้อผิดพลาดแบบครอบครัว ในขณะที่วิธีอัตราการค้นพบที่ผิดพลาดจะควบคุมสัดส่วนที่คาดหวังของการค้นพบที่ผิดพลาดท่ามกลางสมมติฐานที่ถูกปฏิเสธภายใต้เงื่อนไขที่ระบุ

เจาะลึก

การทดสอบสมมติฐานที่ระดับอัลฟาจะควบคุมความน่าจะเป็นที่เป็นเท็จบวกสำหรับการทดสอบที่ระบุหนึ่งครั้งภายใต้สมมติฐาน เมื่อมีการทดสอบสมมติฐานหลายข้อ โอกาสที่จะมีการปฏิเสธที่ผิดพลาดอย่างน้อยหนึ่งครั้งทั่วทั้งชุดอาจเกินอัลฟ่าได้ หากทดสอบสมมติฐานว่างอิสระ 20 ข้อที่แต่ละสมมติฐานที่ 0.05 ความน่าจะเป็นที่จะไม่พบผลบวกลวงคือ 0.95 ยกกำลัง 20 หรือประมาณ 0.358 ดังนั้นโอกาสที่จะได้อย่างน้อยหนึ่งรายการคือประมาณ 0.642 การพึ่งพาจะเปลี่ยนการคำนวณนี้ แต่ปัญหาพื้นฐานหลายหลากยังคงอยู่ อัตราข้อผิดพลาดตามครอบครัว (FWER) คือความน่าจะเป็นที่จะมีการปฏิเสธที่ผิดพลาดอย่างน้อยหนึ่งครั้งในครอบครัว ขั้นตอนของ Bonferroni ควบคุม FWER โดยการทดสอบสมมติฐาน m แต่ละข้อที่อัลฟาหารด้วย m หรือปรับค่า p อย่างเท่าเทียมกันโดยการคูณด้วย m และกำหนดสูงสุดที่หนึ่ง ง่ายและใช้ได้ภายใต้เงื่อนไขการขึ้นต่อกันที่กว้าง แต่สามารถอนุรักษ์นิยมได้ โดยจะลดกำลังเมื่อทำการทดสอบหลายครั้ง ขั้นตอนการลดขั้นตอนของ Holm ยังควบคุม FWER และอาจอนุรักษ์นิยมน้อยกว่า Bonferroni แบบธรรมดา อัตราการค้นพบที่ผิดพลาด (FDR) คือสัดส่วนที่คาดหวังของการค้นพบที่ผิดพลาดในหมู่สมมติฐานที่ถูกปฏิเสธ โดยคำจำกัดความทั่วไปจะตั้งค่าเป็นศูนย์เมื่อไม่มีการปฏิเสธ Benjamini-Hochberg เรียงลำดับค่า p จากน้อยไปมาก และเปรียบเทียบค่าแต่ละค่าด้วยเกณฑ์ที่ขึ้นอยู่กับอันดับ มักจะให้พลังมากขึ้นเมื่อการค้นพบชุดใหญ่มีประโยชน์ แต่การรับประกันและการตีความนั้นขึ้นอยู่กับสมมติฐานเกี่ยวกับการพึ่งพาและกระบวนการทดสอบ การควบคุม FDR ไม่ได้หมายความว่าทุกผลลัพธ์ที่เลือกมีความน่าจะเป็นเท็จเท่ากัน กำหนดกลุ่มของสมมติฐานตามคำถามทางวิทยาศาสตร์หรือเชิงปฏิบัติ รวมถึงผลลัพธ์ กลุ่มย่อย และรูปลักษณ์ชั่วคราวที่อยู่ด้วยกัน เลือกเกณฑ์ข้อผิดพลาดก่อนตรวจสอบผลลัพธ์ รายงานจำนวนและลักษณะของการทดสอบ วิธีการปรับ ค่าที่ปรับ และการประมาณผลกระทบ การแก้ไขไม่ได้ซ่อมแซมการแฮ็ก p, การวัดที่ไม่ดี, การสับสน หรือสมมติฐานการทดสอบที่ไม่ถูกต้อง การค้นพบเชิงสำรวจยังคงมีประโยชน์สำหรับการสร้างสมมติฐาน แต่ควรระบุว่าเป็นการสำรวจและตรวจสอบด้วยข้อมูลใหม่เมื่อเป็นไปได้

การใช้งานจริงในโลกแห่งความเป็นจริง

ทีมสมมุติทดสอบผลลัพธ์ 20 รายการที่ระดับนัยสำคัญ 0.05 ภายใต้ค่าว่างจริงที่เป็นอิสระอิสระ โอกาสที่ผลบวกลวงอย่างน้อยหนึ่งค่าคือ 1 - 0.95^20 หรือประมาณ 0.64 ซึ่งแสดงให้เห็นว่าเหตุใดเกณฑ์ค่า p ที่แยกออกมาจึงทำให้เข้าใจผิดได้

สำหรับการทดสอบที่วางแผนไว้ 10 รายการและอัลฟ่าสำหรับครอบครัว 0.05 Bonferroni จะใช้เกณฑ์ต่อการทดสอบที่ 0.005 ค่า p เท่ากับ 0.01 จะไม่ผ่านจุดตัดที่ปรับแล้วนี้ แม้ว่าการตีความจะยังคงขึ้นอยู่กับแผนการทดสอบก็ตาม

นักวิเคราะห์สำรวจยีนหลายพันยีนและใช้กระบวนการเบนจามินี-ฮอชเบิร์กเพื่อควบคุมอัตราการค้นพบที่ผิดพลาด จากนั้นถือว่าการค้นพบเป็นตัวเลือกสำหรับการจำลองมากกว่ากลไกที่ได้รับการยืนยัน

ทีมผลิตภัณฑ์บันทึกตำแหน่งข้อมูลหลักก่อนตรวจสอบเมตริกรอง การกำหนดกลุ่มการทดสอบล่วงหน้าจะช่วยหลีกเลี่ยงการเลือกการแก้ไขหลังจากที่ได้เห็นว่าผลลัพธ์ใดมีนัยสำคัญเท่านั้น

อนาคตของการแก้ไขการเปรียบเทียบหลายรายการ

ทีมสามารถทำให้ผลการทดสอบหลายรายการน่าเชื่อถือมากขึ้นโดยการลงทะเบียนกลุ่มหลักล่วงหน้า แยกความแตกต่างการยืนยันจากการวิเคราะห์เชิงสำรวจ และรักษาผลลัพธ์ที่ทดสอบทั้งหมดในรายงาน เมื่อมีการทบทวนผลลัพธ์ที่เกี่ยวข้องหลายอย่าง นักวิเคราะห์ควรเลือกการแก้ไขที่สอดคล้องกับต้นทุนของผลบวกลวงใดๆ เทียบกับประโยชน์ของการค้นพบผู้สมัคร การจำลองแบบและการตรวจสอบความถูกต้องโดยอิสระยังคงมีความสำคัญหลังจากการปรับเปลี่ยน ระบบการวิเคราะห์ในอนาคตสามารถเปิดเผยจำนวนการเปรียบเทียบและวิธีการแก้ไขควบคู่ไปกับผลลัพธ์ ช่วยให้ผู้อ่านเห็นว่าเมื่อใดการค้นพบที่โดดเด่นเกิดขึ้นจากการค้นหาแบบกว้างๆ แทนที่จะเป็นการทดสอบที่วางแผนไว้เพียงครั้งเดียว

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Multiple Comparisons Correction quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การแก้ไขการเปรียบเทียบหลายรายการคืออะไร

การทดสอบสมมติฐานหลายๆ ข้อจะเพิ่มโอกาสในการได้รับผลบวกลวงอย่างน้อยหนึ่งครั้ง แม้ว่าการทดสอบแต่ละครั้งจะใช้ระดับนัยสำคัญที่ระบุเท่ากันก็ตาม ขั้นตอนการเปรียบเทียบหลายรายการ เช่น Bonferroni ควบคุมข้อผิดพลาดแบบครอบครัว ในขณะที่วิธีอัตราการค้นพบที่ผิดพลาดจะควบคุมสัดส่วนที่คาดหวังของการค้นพบที่ผิดพลาดท่ามกลางสมมติฐานที่ถูกปฏิเสธภายใต้เงื่อนไขที่ระบุไว้

Bonferroni กำหนดเป้าหมายเกณฑ์ข้อผิดพลาดใด

Bonferroni กำหนดขอบเขตความน่าจะเป็นของการปฏิเสธที่ผิดพลาดในครอบครัวหนึ่งครั้งหรือมากกว่านั้น

FDR เกี่ยวข้องกับสมมติฐานที่ถูกปฏิเสธอย่างไร

FDR ถูกกำหนดไว้ตามสัดส่วนการค้นพบที่ผิดพลาดที่คาดไว้ในบรรดาสมมติฐานที่ถูกปฏิเสธ

เหตุใดนักวิเคราะห์จึงอาจชอบขั้นตอน FDR สำหรับการค้นหาที่มีการค้นพบจำนวนมาก

วิธี FDR อาจเข้มงวดน้อยกว่าการควบคุม FWER เมื่อการค้นพบผู้สมัครจำนวนมากมีประโยชน์

เหตุใดจึงต้องกำหนดกลุ่มสมมติฐานก่อนตรวจสอบผลลัพธ์

การแก้ไขขึ้นอยู่กับการทดสอบใดที่ถือว่าเป็นส่วนหนึ่งของกลุ่มการวิเคราะห์เดียวกัน

ค่า p-value ที่แก้ไขแล้วไม่แก้ไขอะไร

การปรับเปลี่ยนหลายหลากไม่สามารถซ่อมแซมสมมติฐานการออกแบบการศึกษา การวัด หรือการทดสอบที่มีข้อบกพร่องได้

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →