Wynik Briera

Model klasyfikacji może generować zarówno etykietę, jak i prawdopodobieństwo. System dostawy może opóźnić dwie przesyłki, przypisując prawdopodobieństwa 0,6 i 0,9. Dokładność traktuje te przewidywania w ten sam sposób, gdy próg przekształci je w etykiety. Wynik Briera zachowuje różnicę w pewności siebie. W przypadku zdarzenia binarnego zakoduj wystąpienie jako 1, a brak wystąpienia jako 0. Odejmij wynik od przewidywanego prawdopodobieństwa, podnieś różnicę do kwadratu i oblicz średnią dla przypadków. W powszechnie stosowanej konwencji binarnej wynik mieści się w przedziale od 0 do 1, przy czym mniejsze wartości oznaczają mniejsze prawdopodobieństwo błędu. Zawsze identyfikuj przewidywane wydarzenie: prawdopodobieństwa spóźnienia nie można porównać z etykietą oznaczającą przybycie na czas. Rozważmy dwie hipotetyczne paczki z prawdopodobieństwem spóźnienia wynoszącym 0,8 i 0,3. Pierwszy się spóźnia, drugi punktualnie. Ich straty wynoszą 0,04 i 0,09, co daje średnio 0,065. Są to przykłady arytmetyczne, a nie wyniki wdrożonego produktu lub badania badawczego. Wynik wymaga sensownego porównania. Niski wynik można łatwo osiągnąć, gdy zdarzenie prawie nigdy się nie zdarza. Porównaj model z prostym punktem odniesienia dla tych samych przypadków ewaluacyjnych i zgłoś częstość zdarzeń. Nie twórz, że określony wynik jest powszechnie dobry w niepowiązanych zbiorach danych. Sprawdź także kalibrację: jak często zdarza się zdarzenie, któremu przypisano podobne prawdopodobieństwa? Sam niższy wynik Briera nie świadczy o lepszej kalibracji, ponieważ wynik nagradza również oddzielenie przypadków o różnym ryzyku. Scikit-learn dokumentuje zarówno narzędzia do oceniania prawdopodobieństwa, jak i narzędzia do kalibracji. Wraz z odpowiednim podziałem oceny pomagają one odróżnić użyteczną pewność od przekonująco wyglądających liczb.