Correzione di confronti multipli

Un test di ipotesi al livello alfa controlla una probabilità di falsi positivi per un test specificato in base alle sue ipotesi. Quando vengono testate molte ipotesi, la possibilità di almeno un falso rifiuto nell'insieme può superare l'alfa. Se 20 ipotesi nulle indipendenti vengono testate ciascuna a 0,05, la probabilità di nessun falso positivo è 0,95 elevata alla ventesima potenza, circa 0,358; quindi la probabilità che ne escano uno o più è di circa 0,642. La dipendenza cambia questo calcolo, ma rimane il problema fondamentale della molteplicità. Il tasso di errore familiare (FWER) è la probabilità che si verifichi almeno un falso rifiuto in una famiglia. La procedura Bonferroni controlla FWER testando ciascuna delle m ipotesi al valore alfa diviso per m, o regolando in modo equivalente i valori p moltiplicando per m e fissando il limite a uno. È semplice e valido in condizioni di ampia dipendenza, ma può essere conservativo, riducendo la potenza quando vengono eseguiti molti test. La procedura step-down di Holm controlla anche FWER e può essere meno conservativa del semplice Bonferroni. Il tasso di false scoperte (FDR) è la proporzione prevista di false scoperte tra le ipotesi rifiutate, con una definizione convenzionale impostata su zero quando non ci sono rifiuti. Benjamini-Hochberg ordina i valori p dal più piccolo al più grande e li confronta con una soglia dipendente dal rango. Spesso offre più potere quando è utile un ampio insieme di scoperte, ma la sua garanzia e interpretazione dipendono da ipotesi sulla dipendenza e dal processo di test. Il controllo FDR non significa che ogni risultato selezionato abbia la stessa probabilità di essere falso. Definire la famiglia di ipotesi basata sulla domanda scientifica o operativa, compresi i risultati, i sottogruppi e gli aspetti provvisori che appartengono insieme. Scegli un criterio di errore prima di controllare i risultati. Riportare il numero e la natura dei test, il metodo di aggiustamento, i valori aggiustati e le stime degli effetti. Le correzioni non riparano p-hacking, misurazioni inadeguate, confondimenti o ipotesi di test non valide. I risultati esplorativi possono ancora essere utili per generare ipotesi, ma dovrebbero essere etichettati come esplorativi e convalidati con nuovi dati quando possibile.