Műszaki ÚTMUTATÓ

Többszörös összehasonlítás korrekciója

Számos hipotézis tesztelése növeli annak esélyét, hogy legalább egy téves pozitív eredményt kapjunk, még akkor is, ha minden teszt ugyanazt a névleges szignifikancia szintet használja.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A többszörös összehasonlítás jövője Korrekció
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A többszörös összehasonlító eljárások, mint például a Bonferroni, a családonkénti hibákat szabályozzák, míg a hamis felfedezési arányú módszerek szabályozzák a hamis felfedezések várható arányát az elutasított hipotézisek között, meghatározott feltételek mellett.

Mély merülés

Az alfa szintű hipotézis teszt egy meghatározott teszt hamis pozitív valószínűségét szabályozza a feltételezései alapján. Ha sok hipotézist tesztelnek, a halmazban legalább egy téves elutasítás esélye meghaladhatja az alfa értéket. Ha 20 független nullhipotézis mindegyikét 0,05-nél teszteljük, akkor annak a valószínűsége, hogy nincs téves pozitív eredmény, 0,95 a 20. hatványra emelve, körülbelül 0,358; ezért egy vagy több esélye körülbelül 0,642. A függőség megváltoztatja ezt a számítást, de az alapvető multiplicitás probléma megmarad. A családi hibaarány (FWER) legalább egy hamis elutasítás valószínűsége egy családban. A Bonferroni-eljárás úgy szabályozza az FWER-t, hogy m hipotézis mindegyikét teszteli alfa osztva m-mel, vagy ezzel egyenértékű módon módosítja a p-értékeket m-mel való szorzással és eggyel történő korláttal. Egyszerű és széles körű függési feltételek mellett érvényes, de lehet konzervatív is, csökkentve a teljesítményt, ha sok tesztet hajtanak végre. A Holm-féle lelépési eljárás az FWER-t is vezérli, és kevésbé konzervatív lehet, mint az egyszerű Bonferroni. A hamis felfedezési arány (FDR) a hamis felfedezések várható aránya az elutasított hipotézisek között, a hagyományos definíció nullára van állítva, ha nincs elutasítás. Benjamini-Hochberg a legkisebbtől a legnagyobbig rendezi a p-értékeket, és mindegyiket rangfüggő küszöbértékkel hasonlítja össze. Gyakran nagyobb teljesítményt nyújt, ha a felfedezések széles köre hasznos, de garanciája és értelmezése a függőségre és a tesztelési folyamatra vonatkozó feltételezésektől függ. Az FDR-vezérlés nem jelenti azt, hogy minden kiválasztott eredmény azonos valószínűséggel hamis. Határozza meg a hipotézisek családját a tudományos vagy operatív kérdés alapján, beleértve az összetartozó eredményeket, alcsoportokat és időközi megjelenéseket. Az eredmények ellenőrzése előtt válasszon hibakritériumot. Jelentse a tesztek számát és jellegét, a beállítási módszert, a korrigált értékeket és a hatásbecsléseket. A korrekciók nem javítják a p-hackelést, a rossz mérést, a zavaró vagy érvénytelen tesztfeltevéseket. A feltáró eredmények továbbra is hasznosak lehetnek hipotézisek generálásához, de ezeket feltárónak kell jelölni, és lehetőség szerint új adatokkal kell hitelesíteni.

Valós megvalósítás

Egy hipotetikus csapat 20 eredményt tesztel 0,05 szignifikancia szinten. Független igaz nullák esetén legalább egy téves pozitív valószínűsége 1 - 0,95^20, körülbelül 0,64, ami azt szemlélteti, hogy az izolált p-érték küszöbök miért vezethetnek félre.

A Bonferroni 10 tervezett teszthez és a családi alfa-0,05-höz 0,005-ös tesztenkénti küszöböt használ. A 0,01 p-érték nem haladná meg ezt a korrigált határértéket, bár az értelmezés továbbra is a tesztelési tervtől függ.

Egy elemző több ezer gént tár fel, és Benjamini-Hochberg eljárást alkalmaz a hamis felfedezések arányának szabályozására, majd a felfedezéseket a replikáció jelöltjeként kezeli, nem pedig megerősített mechanizmusként.

A termékcsapat rögzíti elsődleges végpontját, mielőtt megvizsgálná a másodlagos mutatókat. A tesztcsalád előzetes meghatározása segít elkerülni, hogy csak azután válasszunk korrekciót, ha látjuk, hogy mely eredmények jelentősek.

A többszörös összehasonlítás jövője Korrekció

A csapatok megbízhatóbbá tehetik a többteszt eredményeit, ha előzetesen regisztrálják az elsődleges családot, megkülönböztetik a megerősítő elemzéseket a feltáró elemzésektől, és megőrzik az összes tesztelt eredményt a jelentésekben. Ha sok kapcsolódó eredményt áttekintenek, az elemzőknek olyan korrekciót kell kiválasztaniuk, amely összhangban van a hamis pozitív eredmények költségével, illetve a jelöltek felfedezésének hasznosságával. A replikáció és a független érvényesítés a beállítás után is fontos marad. A jövőbeli elemzőrendszerek az eredmények mellett felfedhetik az összehasonlítások számát és a korrekciós módszert, segítve az olvasóknak, hogy láthassák, mikor született egy feltűnő megállapítás egy széles körű keresésből, nem pedig egyetlen tervezett tesztből.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Multiple Comparisons Correction quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a többszörös összehasonlítás korrekciója?

Számos hipotézis tesztelése növeli annak esélyét, hogy legalább egy téves pozitív eredményt kapjunk, még akkor is, ha minden teszt ugyanazt a névleges szignifikancia szintet használja. A többszörös összehasonlító eljárások, mint például a Bonferroni, a családonkénti hibákat szabályozzák, míg a hamis felfedezési arányú módszerek szabályozzák a hamis felfedezések várható arányát az elutasított hipotézisek között, meghatározott feltételek mellett.

Melyik hibakritériumot célozza meg a Bonferroni?

Bonferroni korlátozza egy vagy több hamis elutasítás valószínűségét a családban.

Mit érint az FDR az elutasított hipotézisek között?

Az FDR-t az elutasított hipotézisek között várható téves felfedezések aránya körül határozzák meg.

Miért részesíthetik előnyben az elemzők az FDR-eljárást egy nagy felfedezésben?

Az FDR-módszerek kevésbé szigorúak lehetnek, mint az FWER-vezérlés, ha sok jelölt felfedezés hasznos.

Miért határozzuk meg a hipotéziscsaládot az eredmények vizsgálata előtt?

A korrekció attól függ, hogy mely teszteket tekintjük ugyanannak az elemzési családnak.

Mit nem javít a korrigált p-érték?

A többszörösségi kiigazítások nem javítják a hibás vizsgálati tervezést, mérést vagy vizsgálati feltevéseket.