Technische GIDS

Correctie van meerdere vergelijkingen

Het testen van veel hypothesen vergroot de kans op ten minste één vals-positief resultaat, zelfs als elke test hetzelfde nominale significantieniveau gebruikt.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina3 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van correctie van meerdere vergelijkingen
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Procedures voor meervoudige vergelijkingen, zoals Bonferroni, beheersen familiefouten, terwijl methoden voor het aantal valse ontdekkingen het verwachte aandeel valse ontdekkingen onder verworpen hypothesen onder bepaalde omstandigheden controleren.

Diepe duik

Een hypothesetest op niveau alfa controleert een vals-positieve waarschijnlijkheid voor één gespecificeerde test onder zijn aannames. Wanneer veel hypothesen worden getest, kan de kans op ten minste één valse afwijzing in de hele set de alfa overschrijden. Als twintig onafhankelijke nulhypothesen elk op 0,05 worden getest, is de kans op geen valse positieven 0,95, verhoogd tot de 20e macht, ongeveer 0,358; daarom is de kans op een of meer gevallen ongeveer 0,642. Afhankelijkheid verandert deze berekening, maar het fundamentele multipliciteitsprobleem blijft bestaan. Family-wise Error Rate (FWER) is de kans op ten minste één valse afwijzing in een gezin. De Bonferroni-procedure bestuurt FWER door elk van m-hypothesen te testen op alfa gedeeld door m, of op equivalente wijze p-waarden aan te passen door te vermenigvuldigen met m en af ​​te sluiten op één. Het is eenvoudig en geldig onder brede afhankelijkheidsomstandigheden, maar kan conservatief zijn, waardoor de kracht afneemt wanneer er veel tests worden uitgevoerd. Holms step-down-procedure controleert ook FWER en kan minder conservatief zijn dan de eenvoudige Bonferroni. Het percentage valse ontdekkingen (FDR) is het verwachte percentage valse ontdekkingen onder verworpen hypothesen, waarbij een conventionele definitie op nul is ingesteld als er geen afwijzingen zijn. Benjamini-Hochberg rangschikt p-waarden van klein naar groot en vergelijkt ze met een rangafhankelijke drempel. Het biedt vaak meer kracht als een brede reeks ontdekkingen nuttig is, maar de garantie en interpretatie ervan zijn afhankelijk van aannames over afhankelijkheid en het testproces. FDR-controle betekent niet dat elk geselecteerd resultaat dezelfde waarschijnlijkheid heeft om vals te zijn. Definieer de familie van hypothesen op basis van de wetenschappelijke of operationele vraag, inclusief uitkomsten, subgroepen en tussentijdse blikken die bij elkaar horen. Kies een foutcriterium voordat u de resultaten inspecteert. Rapporteer het aantal en de aard van de testen, de aanpassingsmethode, aangepaste waarden en effectschattingen. Correcties herstellen geen p-hacking, slechte metingen, verwarrende of ongeldige testaannames. Verkennende bevindingen kunnen nog steeds nuttig zijn voor het genereren van hypothesen, maar ze moeten als verkennend worden bestempeld en waar mogelijk worden gevalideerd met nieuwe gegevens.

Implementatie in de echte wereld

Een hypothetisch team test twintig uitkomsten op significantieniveau 0,05. Onder onafhankelijke echte nulwaarden is de kans op ten minste één vals-positief 1 - 0,95^20, ongeveer 0,64, wat illustreert waarom geïsoleerde p-waardedrempels misleidend kunnen zijn.

Voor 10 geplande tests en gezinsalfa 0,05 gebruikt Bonferroni een drempelwaarde per test van 0,005. Een p-waarde van 0,01 zou deze aangepaste grenswaarde niet overschrijden, hoewel de interpretatie nog steeds afhangt van het testplan.

Een analist onderzoekt duizenden genen en gebruikt een Benjamini-Hochberg-procedure om het aantal valse ontdekkingen te controleren, en behandelt ontdekkingen vervolgens als kandidaten voor replicatie in plaats van als bevestigde mechanismen.

Een productteam legt het primaire eindpunt vast voordat het secundaire statistieken onderzoekt. Het vooraf definiëren van de familie van tests helpt voorkomen dat u pas een correctie kiest nadat u heeft gezien welke resultaten significant zijn.

De toekomst van correctie van meerdere vergelijkingen

Teams kunnen de resultaten van meerdere tests betrouwbaarder maken door de primaire familie vooraf te registreren, bevestigende van verkennende analyses te onderscheiden en alle geteste resultaten in rapporten op te slaan. Wanneer veel gerelateerde uitkomsten worden beoordeeld, moeten analisten een correctie selecteren die is afgestemd op de kosten van een vals-positief versus het nut van het ontdekken van kandidaten. Replicatie en onafhankelijke validatie blijven na aanpassing belangrijk. Toekomstige analysesystemen kunnen het aantal vergelijkingen en de correctiemethode naast de resultaten weergeven, waardoor lezers kunnen zien wanneer een opvallende bevinding naar voren komt uit een brede zoekopdracht in plaats van uit één enkele geplande test.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Multiple Comparisons Correction quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is correctie van meerdere vergelijkingen?

Het testen van veel hypothesen vergroot de kans op ten minste één vals-positief resultaat, zelfs als elke test hetzelfde nominale significantieniveau gebruikt. Procedures voor meervoudige vergelijkingen, zoals Bonferroni, beheersen familiefouten, terwijl methoden voor het aantal valse ontdekkingen het verwachte aandeel valse ontdekkingen onder verworpen hypothesen onder bepaalde omstandigheden controleren.

Op welk foutencriterium richt Bonferroni zich?

Bonferroni beperkt de kans op een of meer valse afwijzingen in het gezin.

Wat betreft FDR onder verworpen hypothesen?

FDR wordt gedefinieerd rond het verwachte aandeel valse ontdekkingen onder verworpen hypothesen.

Waarom zouden analisten de voorkeur kunnen geven aan een FDR-procedure voor een grote zoektocht naar ontdekkingen?

FDR-methoden kunnen minder streng zijn dan FWER-controle wanneer veel kandidaat-ontdekkingen nuttig zijn.

Waarom zou u de hypothesefamilie definiëren voordat u de resultaten onderzoekt?

De correctie hangt af van welke tests als onderdeel van dezelfde analysefamilie worden beschouwd.

Wat lost een gecorrigeerde p-waarde niet op?

Multipliciteitsaanpassingen herstellen gebrekkige onderzoeksopzet-, meet- of testaannames niet.