DalšíDalší průvodce
Skóre siluety a hodnocení shluků
Technický
Technický PRŮVODCE
Brierovo skóre měří chybu v předpovědi pravděpodobnosti porovnáním předpokládané pravděpodobnosti s výsledkem, který skutečně nastane.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Pomáhá vám vyhodnotit, zda je spolehlivost systému AI užitečná, i když dva systémy provádějí stejné předpovědi ano nebo ne.
Klasifikační model může poskytovat jak označení, tak pravděpodobnost. Doručovací systém může zavolat dva balíky se zpožděním při přiřazení pravděpodobnosti 0,6 a 0,9. Přesnost zachází s těmito předpověďmi stejně poté, co je prahová hodnota převede na štítky. Brierovo skóre zachovává rozdíl v důvěře. Pro binární událost zakódujte výskyt jako 1 a nevýskyt jako 0. Odečtěte výsledek od předpokládané pravděpodobnosti, umocněte rozdíl a zprůměrujte případy. V běžně používané binární konvenci se výsledek pohybuje od 0 do 1, přičemž menší hodnoty znamenají menší pravděpodobnostní chybu. Vždy identifikujte předvídanou událost: pravděpodobnost pozdního příjezdu nelze srovnávat s označením, které znamená dorazit včas. Uvažujme dva hypotetické parcely s pravděpodobnostmi pozdního příchodu 0,8 a 0,3. První je pozdě a druhý včas. Jejich ztráty jsou 0,04 a 0,09, což představuje průměr 0,065. Toto jsou aritmetické příklady, nikoli výsledky nasazeného produktu nebo výzkumné studie. Skóre potřebuje smysluplné srovnání. Nízkého skóre lze snadno dosáhnout, když se událost téměř nikdy nestane. Porovnejte model s jednoduchou základní linií na stejných případech hodnocení a uveďte četnost událostí. Netvrdte, že určité skóre je všeobecně dobré napříč nesouvisejícími datovými sadami. Zkontrolujte také kalibraci: jak často se událost vyskytuje v případech, jimž byla přiřazena podobná pravděpodobnost? Nižší skóre Brier samo o sobě neprokazuje lepší kalibraci, protože skóre také odměňuje oddělování případů s různými riziky. Scikit-learn dokumentuje jak nástroje pro hodnocení pravděpodobnosti, tak nástroje pro kalibraci. Spolu s vhodným rozdělením hodnocení pomáhají odlišit užitečnou důvěru od přesvědčivě vypadajících čísel.
V hypotetické prognóze doručení má balík 70% předpokládanou šanci, že dorazí pozdě, a dorazí pozdě. Jeho binární Brierova ztráta je druhá mocnina 0,7 minus 1, což je 0,09.
Dvě hypotetické prognózy obě předpovídají pozdní dodání s použitím 50% prahu rozhodování. Pokud dorazí včas, 60% prognóza způsobí ztrátu 0,36, zatímco 90% prognóza způsobí ztrátu 0,81.
Tým podpory porovnává svůj model eskalace lístků se základní linií, která vždy předpovídá míru eskalace naměřenou v trénovacích datech. Vyhodnocuje oba na stejných pozdějších tiketech.
Analytik používá scikit-learn's brier_score_loss k posouzení pravděpodobností a kalibrační graf ke kontrole, které intervaly spolehlivosti jsou zavádějící. Tyto kontroly odpovídají na související, ale odlišné otázky.
Vzhledem k tomu, že více rozhraní AI vykazuje důvěru, týmy budou potřebovat vyhodnocení, které zkontroluje, co tato čísla znamenají v praxi. Užitečným dalším krokem je uchovat prognózy před příchodem výsledků a spojit je s pozdějšími výsledky pomocí stabilních identifikátorů. Zprávy by měly uvádět Brierovo skóre spolu se základní linií, kontrolami kalibrace a počtem hodnocených případů. Týmy by také měly prozkoumat příslušné skupiny a časová období, protože celkový průměr může zakrýt zhoršení. Tento pracovní postup závisí na důvěryhodném sběru výsledků; samotné zobrazení procenta spolehlivosti neznamená, že byl testován.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Brierovo skóre měří chybu v předpovědi pravděpodobnosti porovnáním předpokládané pravděpodobnosti s výsledkem, který skutečně nastane. Pomáhá vám vyhodnotit, zda je spolehlivost systému AI užitečná, i když dva systémy provádějí stejné předpovědi ano nebo ne.
Výskyt je zakódován jako 1, takže rozdíl na druhou je (0,7 minus 1) na druhou, neboli 0,09.
Skóre zprůměruje jednotlivé čtvercové chyby: (0,04 plus 0,09) děleno dvěma je 0,065.
Pozitivní výsledek a předpokládaná pravděpodobnost musí popisovat stejnou událost; jinak výpočet měří neshodná množství.
Brierova ztráta odráží více než jen kalibraci. Zlepšené rozlišení může snížit ztráty, i když se kalibrace nezlepšila.
Základní čára konstantní sazby ukazuje, zda se model zlepšuje oproti jednoduché prognóze při stejné frekvenci událostí a stejných případech hodnocení.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Skóre siluety a hodnocení shluků
Technický