DalšíDalší průvodce
Z-ztráta a stabilita tréninku
Technický
Technický PRŮVODCE
Index stability populace (PSI) shrnuje, jak se liší rozdělení binovaných vlastností mezi referenční populací a srovnávací populací.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Může označit posuny k vyšetření, ale volby rozdělení do binů, zacházení s nulovými počty, velikost vzorku a kontextově specifické prahy omezují jeho hodnotu jako samostatného signálu driftu nebo výkonnosti modelu.
Population Stability Index compares distributions by dividing a variable into bins and measuring changes in the proportion of observations in each bin. For reference share E_i and comparison share A_i, a common formula is PSI = sum_i (A_i-E_i)*ln(A_i/E_i). A contribution is zero when the shares match, and larger differences generally add more to the total. PSI is often applied to score or feature distributions in monitoring, particularly where labels arrive late. The result depends on how bins are defined. Fixed bins make comparison across time interpretable, while quantile bins based only on a reference sample can preserve baseline balance. Recomputing bins separately for each sample can make shifts harder to see. Coarse bins may hide changes within a bin; too many bins can create sparse counts and unstable ratios. If any bin has zero share, the logarithm is undefined, so implementations use smoothing or minimum proportions. Report that convention and test whether conclusions change. PSI measures distributional difference, not whether the change harms predictions. A feature can shift due to seasonality or a legitimate population change while model performance remains stable. Conversely, conditional relationships can change without a large marginal feature PSI. A score-distribution shift may indicate changed inputs, changed policy or changed model version. None of these possibilities is distinguished by the scalar index. Some domains use rule-of-thumb bands for interpreting PSI, but thresholds vary and should not be treated as universal statistical guarantees. The index is sensitive to sample size, bin count and chosen reference period. Use it as one alert signal alongside schema checks, slice metrics and delayed-label evaluation. Investigate which bins contribute to the score, whether the shift persists and whether a downstream decision changes. PSI is a compact summary for prioritizing review, not a substitute for ground-truth performance measurement or causal diagnosis.
Hypotetická vlastnost má referenční podíly v binách 0,6 a 0,4, zatímco nový vzorek má 0,5 a 0,5. PSI sčítá rozdíl podílů každého binu vynásobený logaritmem poměru nových k referenčním podílům.
Bin s referenčním rozdělením nemá žádné pozorování, což činí logaritmické poměry nedefinovanými. Analytik aplikuje zdokumentovanou konvenci vyhlazování a místo tiché přiřazení libovolného skóre zkontroluje citlivost.
Rozdělení vlastnosti se výrazně posune, ale zůstává v rámci stejných hrubých binů, takže PSI je malé. Podrobnější biny nebo jiný test mohou odhalit detail, což ilustruje závislost na binování.
PSI modelu pro rozdělení skóre stoupá po nasazení. Tým zkoumá posuny vstupů, změny politik a sezónnost; z PSI samotného nevyvozuje, že přesnost klesla.
Monitorování PSI lze zlepšit opravou referenčních období a definic bin, hlášením přínosů pro jednotlivé biny a sledováním jak statistického, tak provozního kontextu. Týmy by měly nastavit prahy upozornění na základě historické variability a známých změn, nikoli importovat univerzální limit. Když se štítky stanou k dispozici, porovnejte PSI upozornění s reálnými změnami výkonu, abyste zjistili, které posuny mají význam. Kombinujte monitorování rozdělení s kontrolami kvality dat a podmíněnou analýzou výkonu. To pomáhá týmům využít PSI k priorizaci vyšetřování, aniž by se hrubé porovnání histogramu proměnilo v hodnocení „přijmout/odmítnout“ modelu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Population Stability Index (PSI) shrnuje, jak se binované rozdělení vlastností liší mezi referenční populací a porovnávací populací. Může upozornit na posuny k vyšetření, ale volby binování, zacházení s nulovými počty, velikost vzorku a kontextově specifické prahy omezují jeho hodnotu jako samostatného signálu posunu nebo výkonu modelu.
Každý přínos je (A-E) krát ln(A/E), kde A a E jsou podíly porovnávací a referenční populace.
Nulový jmenovatel způsobí, že logaritmus je nedefinovaný, takže implementace musí mít dokumentované řešení.
Opravené biny umožňují analytikům porovnávat podíly pro stejné rozsahy hodnot v průběhu času.
Hrubá partition může umístit různá rozdělení do stejných poměrů binů.
PSI měří rozdíl rozdělení, ne příčinu ani její dopad na prediktivní výkon.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Z-ztráta a stabilita tréninku
Technický