VolgendeVolgende gids
Verzekeringspolissen vergelijken met AI
Toepassingen
Technische GIDS
Het testen van veel hypothesen vergroot de kans op ten minste één vals-positief resultaat, zelfs als elke test hetzelfde nominale significantieniveau gebruikt.
Luister naar deze gidsAI-verteld · ~3 min
Procedures voor meervoudige vergelijkingen, zoals Bonferroni, beheersen familiefouten, terwijl methoden voor het aantal valse ontdekkingen het verwachte aandeel valse ontdekkingen onder verworpen hypothesen onder bepaalde omstandigheden controleren.
Een hypothesetest op niveau alfa controleert een vals-positieve waarschijnlijkheid voor één gespecificeerde test onder zijn aannames. Wanneer veel hypothesen worden getest, kan de kans op ten minste één valse afwijzing in de hele set de alfa overschrijden. Als twintig onafhankelijke nulhypothesen elk op 0,05 worden getest, is de kans op geen valse positieven 0,95, verhoogd tot de 20e macht, ongeveer 0,358; daarom is de kans op een of meer gevallen ongeveer 0,642. Afhankelijkheid verandert deze berekening, maar het fundamentele multipliciteitsprobleem blijft bestaan. Family-wise Error Rate (FWER) is de kans op ten minste één valse afwijzing in een gezin. De Bonferroni-procedure bestuurt FWER door elk van m-hypothesen te testen op alfa gedeeld door m, of op equivalente wijze p-waarden aan te passen door te vermenigvuldigen met m en af te sluiten op één. Het is eenvoudig en geldig onder brede afhankelijkheidsomstandigheden, maar kan conservatief zijn, waardoor de kracht afneemt wanneer er veel tests worden uitgevoerd. Holms step-down-procedure controleert ook FWER en kan minder conservatief zijn dan de eenvoudige Bonferroni. Het percentage valse ontdekkingen (FDR) is het verwachte percentage valse ontdekkingen onder verworpen hypothesen, waarbij een conventionele definitie op nul is ingesteld als er geen afwijzingen zijn. Benjamini-Hochberg rangschikt p-waarden van klein naar groot en vergelijkt ze met een rangafhankelijke drempel. Het biedt vaak meer kracht als een brede reeks ontdekkingen nuttig is, maar de garantie en interpretatie ervan zijn afhankelijk van aannames over afhankelijkheid en het testproces. FDR-controle betekent niet dat elk geselecteerd resultaat dezelfde waarschijnlijkheid heeft om vals te zijn. Definieer de familie van hypothesen op basis van de wetenschappelijke of operationele vraag, inclusief uitkomsten, subgroepen en tussentijdse blikken die bij elkaar horen. Kies een foutcriterium voordat u de resultaten inspecteert. Rapporteer het aantal en de aard van de testen, de aanpassingsmethode, aangepaste waarden en effectschattingen. Correcties herstellen geen p-hacking, slechte metingen, verwarrende of ongeldige testaannames. Verkennende bevindingen kunnen nog steeds nuttig zijn voor het genereren van hypothesen, maar ze moeten als verkennend worden bestempeld en waar mogelijk worden gevalideerd met nieuwe gegevens.
Een hypothetisch team test twintig uitkomsten op significantieniveau 0,05. Onder onafhankelijke echte nulwaarden is de kans op ten minste één vals-positief 1 - 0,95^20, ongeveer 0,64, wat illustreert waarom geïsoleerde p-waardedrempels misleidend kunnen zijn.
Voor 10 geplande tests en gezinsalfa 0,05 gebruikt Bonferroni een drempelwaarde per test van 0,005. Een p-waarde van 0,01 zou deze aangepaste grenswaarde niet overschrijden, hoewel de interpretatie nog steeds afhangt van het testplan.
Een analist onderzoekt duizenden genen en gebruikt een Benjamini-Hochberg-procedure om het aantal valse ontdekkingen te controleren, en behandelt ontdekkingen vervolgens als kandidaten voor replicatie in plaats van als bevestigde mechanismen.
Een productteam legt het primaire eindpunt vast voordat het secundaire statistieken onderzoekt. Het vooraf definiëren van de familie van tests helpt voorkomen dat u pas een correctie kiest nadat u heeft gezien welke resultaten significant zijn.
Teams kunnen de resultaten van meerdere tests betrouwbaarder maken door de primaire familie vooraf te registreren, bevestigende van verkennende analyses te onderscheiden en alle geteste resultaten in rapporten op te slaan. Wanneer veel gerelateerde uitkomsten worden beoordeeld, moeten analisten een correctie selecteren die is afgestemd op de kosten van een vals-positief versus het nut van het ontdekken van kandidaten. Replicatie en onafhankelijke validatie blijven na aanpassing belangrijk. Toekomstige analysesystemen kunnen het aantal vergelijkingen en de correctiemethode naast de resultaten weergeven, waardoor lezers kunnen zien wanneer een opvallende bevinding naar voren komt uit een brede zoekopdracht in plaats van uit één enkele geplande test.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Het testen van veel hypothesen vergroot de kans op ten minste één vals-positief resultaat, zelfs als elke test hetzelfde nominale significantieniveau gebruikt. Procedures voor meervoudige vergelijkingen, zoals Bonferroni, beheersen familiefouten, terwijl methoden voor het aantal valse ontdekkingen het verwachte aandeel valse ontdekkingen onder verworpen hypothesen onder bepaalde omstandigheden controleren.
Bonferroni beperkt de kans op een of meer valse afwijzingen in het gezin.
FDR wordt gedefinieerd rond het verwachte aandeel valse ontdekkingen onder verworpen hypothesen.
FDR-methoden kunnen minder streng zijn dan FWER-controle wanneer veel kandidaat-ontdekkingen nuttig zijn.
De correctie hangt af van welke tests als onderdeel van dezelfde analysefamilie worden beschouwd.
Multipliciteitsaanpassingen herstellen gebrekkige onderzoeksopzet-, meet- of testaannames niet.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Verzekeringspolissen vergelijken met AI
Toepassingen