HƯỚNG DẪN KỸ THUẬT

Chỉnh sửa nhiều so sánh

Việc kiểm tra nhiều giả thuyết làm tăng cơ hội nhận được ít nhất một kết quả dương tính giả, ngay cả khi mỗi thử nghiệm sử dụng cùng một mức ý nghĩa danh nghĩa.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc sửa lỗi so sánh nhiều lần
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Các quy trình so sánh nhiều lần như Bonferroni kiểm soát lỗi thông minh theo họ, trong khi các phương pháp tỷ lệ phát hiện sai kiểm soát tỷ lệ phát hiện sai dự kiến ​​​​trong số các giả thuyết bị bác bỏ trong các điều kiện đã nêu.

Lặn sâu

Kiểm tra giả thuyết ở cấp độ alpha kiểm soát xác suất dương tính giả đối với một thử nghiệm được chỉ định theo các giả định của nó. Khi nhiều giả thuyết được kiểm tra, khả năng xảy ra ít nhất một giả thuyết bị bác bỏ sai trên toàn bộ tập hợp có thể vượt quá alpha. Nếu 20 giả thuyết vô hiệu độc lập được kiểm tra ở mức 0,05 thì xác suất không có kết quả dương tính giả là 0,95 được nâng lên lũy thừa 20, khoảng 0,358; do đó cơ hội của một hoặc nhiều là khoảng 0,642. Sự phụ thuộc làm thay đổi phép tính này, nhưng vấn đề bội số cơ bản vẫn còn. Tỷ lệ lỗi thông minh của gia đình (FWER) là xác suất xảy ra ít nhất một lần từ chối sai trong một gia đình. Quy trình Bonferroni kiểm soát FWER bằng cách kiểm tra từng giả thuyết trong số m giả thuyết ở alpha chia cho m hoặc điều chỉnh giá trị p tương đương bằng cách nhân với m và giới hạn ở một. Nó đơn giản và hợp lệ trong các điều kiện phụ thuộc rộng, nhưng có thể bảo toàn, làm giảm công suất khi thực hiện nhiều thử nghiệm. Quy trình giảm dần của Holm cũng kiểm soát FWER và có thể ít bảo thủ hơn Bonferroni đơn giản. Tỷ lệ phát hiện sai (FDR) là tỷ lệ dự kiến ​​của các phát hiện sai trong số các giả thuyết bị bác bỏ, với định nghĩa thông thường được đặt thành 0 khi không có giả thuyết nào bị bác bỏ. Stewamini-Hochberg sắp xếp các giá trị p từ nhỏ nhất đến lớn nhất và so sánh từng giá trị với ngưỡng phụ thuộc vào thứ hạng. Nó thường mang lại nhiều sức mạnh hơn khi một loạt các khám phá trở nên hữu ích, nhưng sự đảm bảo và giải thích của nó phụ thuộc vào các giả định về sự phụ thuộc và quá trình thử nghiệm. Kiểm soát FDR không có nghĩa là mọi kết quả được chọn đều có cùng xác suất sai. Xác định nhóm giả thuyết dựa trên câu hỏi khoa học hoặc hoạt động, bao gồm các kết quả, các nhóm nhỏ và các quan điểm tạm thời thuộc về nhau. Chọn một tiêu chí lỗi trước khi kiểm tra kết quả. Báo cáo số lượng và tính chất của các thử nghiệm, phương pháp điều chỉnh, giá trị điều chỉnh và ước tính hiệu quả. Việc sửa chữa không sửa chữa được lỗi p-hack, đo lường kém, các giả định kiểm tra gây nhiễu hoặc không hợp lệ. Các phát hiện thăm dò vẫn có thể hữu ích trong việc tạo ra các giả thuyết, nhưng chúng nên được gắn nhãn là mang tính thăm dò và xác nhận bằng dữ liệu mới khi có thể.

Triển khai trong thế giới thực

Một nhóm giả định kiểm tra 20 kết quả ở mức ý nghĩa 0,05. Trong các giá trị rỗng đúng độc lập, khả năng xảy ra ít nhất một kết quả dương tính giả là 1 - 0,95^20, khoảng 0,64, minh họa tại sao các ngưỡng giá trị p bị cô lập có thể gây hiểu nhầm.

Đối với 10 thử nghiệm theo kế hoạch và alpha 0,05 dành cho gia đình, Bonferroni sử dụng ngưỡng cho mỗi thử nghiệm là 0,005. Giá trị p là 0,01 sẽ không vượt qua ngưỡng được điều chỉnh này, mặc dù việc diễn giải vẫn phụ thuộc vào kế hoạch thử nghiệm.

Một nhà phân tích khám phá hàng nghìn gen và sử dụng quy trình Stewamini-Hochberg để kiểm soát tỷ lệ phát hiện sai, sau đó coi các khám phá là ứng cử viên để sao chép thay vì các cơ chế đã được xác nhận.

Nhóm sản phẩm ghi lại điểm cuối chính của mình trước khi kiểm tra các số liệu phụ. Việc xác định trước nhóm thử nghiệm giúp tránh việc chỉ chọn cách điều chỉnh sau khi thấy kết quả nào là quan trọng.

Tương lai của việc sửa lỗi so sánh nhiều lần

Các nhóm có thể làm cho kết quả của nhiều xét nghiệm trở nên đáng tin cậy hơn bằng cách đăng ký trước họ chính, phân biệt phân tích xác nhận với phân tích thăm dò và lưu giữ tất cả các kết quả được kiểm tra trong báo cáo. Khi nhiều kết quả liên quan được xem xét, các nhà phân tích nên chọn một phương pháp điều chỉnh phù hợp với chi phí của bất kỳ kết quả dương tính giả nào so với mức độ hữu ích của việc phát hiện ra ứng cử viên. Việc sao chép và xác nhận độc lập vẫn quan trọng sau khi điều chỉnh. Các hệ thống phân tích trong tương lai có thể đưa ra số lượng so sánh và phương pháp hiệu chỉnh cùng với kết quả, giúp người đọc biết khi nào một phát hiện nổi bật xuất hiện từ một tìm kiếm rộng rãi thay vì một thử nghiệm theo kế hoạch duy nhất.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Multiple Comparisons Correction quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Hiệu chỉnh nhiều so sánh là gì?

Việc kiểm tra nhiều giả thuyết làm tăng cơ hội nhận được ít nhất một kết quả dương tính giả, ngay cả khi mỗi thử nghiệm sử dụng cùng một mức ý nghĩa danh nghĩa. Các quy trình so sánh nhiều lần như Bonferroni kiểm soát lỗi thông minh theo họ, trong khi các phương pháp tỷ lệ phát hiện sai kiểm soát tỷ lệ phát hiện sai dự kiến ​​​​trong số các giả thuyết bị bác bỏ trong các điều kiện đã nêu.

Bonferroni nhắm đến tiêu chí lỗi nào?

Bonferroni giới hạn xác suất xảy ra một hoặc nhiều lần từ chối sai trong gia đình.

FDR quan tâm đến điều gì trong số các giả thuyết bị bác bỏ?

FDR được xác định xung quanh tỷ lệ phát hiện sai dự kiến ​​trong số các giả thuyết bị bác bỏ.

Tại sao các nhà phân tích có thể thích thủ tục FDR hơn cho một tìm kiếm khám phá lớn?

Các phương pháp FDR có thể ít nghiêm ngặt hơn phương pháp kiểm soát FWER khi có nhiều khám phá ứng viên hữu ích.

Tại sao phải xác định họ giả thuyết trước khi kiểm tra kết quả?

Việc điều chỉnh phụ thuộc vào việc kiểm tra nào được coi là một phần của cùng một nhóm phân tích.

Giá trị p đã sửa không khắc phục được điều gì?

Các điều chỉnh bội số không sửa chữa được các giả định về thiết kế nghiên cứu, đo lường hoặc kiểm tra còn thiếu sót.