DalšíDalší průvodce
Kolik testovacích případů potřebuje rychlé vyhodnocení
Technický
Technický PRŮVODCE
Statistická síla je pravděpodobnost, že experiment detekuje specifikovaný efekt za jeho předpokladů, a plánování velikosti vzorku odhaduje, kolik dat je potřeba pro vybranou chybovost a detekovatelný efekt.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Modelové experimenty potřebují plány, které zohledňují rozptyl výsledku, jednotku přiřazení, opakovaná měření a více metrik, než se spoléhat na univerzální počet vzorků.
Power analysis connects the effect an experiment is designed to detect with sample size, outcome variability, significance threshold and statistical power. Power is 1 minus the Type II error probability under a specified alternative. It is not the probability that a result is true. A minimum detectable effect (MDE) is the effect size used in planning; choosing an MDE expresses a decision threshold about the smallest change worth detecting. For two independent equal-sized groups comparing a continuous mean with common standard deviation sigma, a rough normal-approximation sample size per arm is 2*(z_(1-alpha/2)+z_(1-beta))^2*sigma^2/delta^2 for a two-sided test. With alpha 0.05, power 0.80, sigma 10 and delta 2, z values are about 1.96 and 0.84. The calculation is 2*(2.8)^2*100/4, about 392 per group. This is a hypothetical approximation, not a universal prescription; exact tests, unequal allocation, baseline adjustment and finite samples change requirements. Binary outcomes, heavy-tailed metrics, repeated measures, cluster assignment and low traffic require suitable methods. If users are grouped by team or region, correlated outcomes reduce effective information. Multiple metrics or variant comparisons may require multiplicity planning. Experiment duration also depends on traffic patterns, seasonality, label delay and the need to cover full behavioral cycles. Estimate variance and baseline rates from relevant historical data, define primary and guardrail metrics, randomization unit, alpha, power and MDE before launch. Avoid repeatedly checking conventional fixed-horizon p-values and stopping as soon as significance appears unless using a valid sequential method. Report achieved sample size, confidence intervals and uncertainty. Underpowered experiments can miss meaningful effects; very large experiments can detect changes too small to matter. Statistical power supports a plan, but decision value also depends on operational costs, harms and the quality of measurement.
Pro hypotetický dvouramenný experiment s kontinuálním výsledkem, směrodatnou odchylkou 10, oboustranným alfa 0,05 a 80% sílou k detekci středního rozdílu 2, normální aproximace dává zhruba 392 nezávislých pozorování na rameno.
Očekává se, že změna modelu zlepší míru prokliku jen mírně. Tým před spuštěním vypočítá požadovanou velikost vzorku a prodlouží experiment, pokud způsobilá míra návštěvnosti předpokládá delší trvání.
Clusterově randomizovaný experiment přiděluje spíše celé týmy než lidi. Podobnost v rámci týmu snižuje efektivní velikost vzorku, takže plán počítá spíše se shlukováním než s tím, aby se s každou osobou zacházelo jako s nezávislou osobou.
Tým testuje mnoho variant modelu a metrik. Upravuje design experimentu nebo zužuje primární výsledky, protože vícenásobné srovnání a opakované prohlížení může zvýšit riziko falešně pozitivních výsledků.
Plánování experimentů se může zlepšit, když týmy spojí MDE se smysluplným rozhodnutím o produktu, použijí aktuální odhady rozptylu a simulují provoz, shlukování a zpožděné výsledky. Předběžná registrace primárních výsledků a pravidla zastavení usnadňují interpretaci výsledků. Analytici by měli uvádět intervaly spolehlivosti a praktický dopad spolu s hodnotami p. Jak se modelové experimenty stávají složitějšími, sekvenční metody a metody snižování rozptylu mohou zkrátit hodnocení, jsou-li správně navrženy. Transparentní výpočet výkonu pomáhá stanovit očekávání ohledně trvání a nejistoty před tím, než začne uživatel vystavení. Zaznamenejte plán analýzy před zahájením provozu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Statistická síla je pravděpodobnost, že experiment detekuje specifikovaný efekt za jeho předpokladů, a plánování velikosti vzorku odhaduje, kolik dat je potřeba pro vybranou chybovost a detekovatelný efekt. Modelové experimenty potřebují plány, které zohledňují rozptyl výsledku, jednotku přiřazení, opakovaná měření a více metrik, než se spoléhat na univerzální počet vzorků.
Použití 2*(1,96+0,84)^2*10^2/2^2 dává asi 392 pozorování na paži.
Velikost vzorku se mění nepřímo s druhou mocninou efektu, takže její rozpůlení vynásobí n čtyřmi.
Výkon je pravděpodobnost detekce specifikovaného efektu v rámci alternativy, rovna 1-beta.
MDE je velikost efektu plánování, nikoli příslib pozorovaného dopadu.
Korelace v rámci clusteru snižuje efektivní velikost vzorku vzhledem k nezávislým přiřazením.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Kolik testovacích případů potřebuje rychlé vyhodnocení
Technický