Оцінка Браєра

Модель класифікації може виводити як мітку, так і ймовірність. Система доставки може викликати дві посилки із запізненням, призначаючи ймовірності 0,6 і 0,9. Точність обробляє ці прогнози однаково після того, як порогове значення перетворює їх на мітки. Оцінка Brier зберігає різницю в впевненості. Для двійкової події закодуйте виникнення як 1, а відсутність як 0. Відніміть результат із прогнозованої ймовірності, зведіть різницю в квадрат і усередніть для випадків. У зазвичай використовуваній двійковій конвенції результат коливається від 0 до 1, при цьому менші значення вказують на меншу ймовірність помилки. Завжди визначте прогнозовану подію: ймовірність запізнення не можна порівняти з міткою, що означає прибуття вчасно. Розглянемо дві гіпотетичні посилки з імовірністю запізнення 0,8 і 0,3. Перший запізнився, а другий вчасно. Їх втрати становлять 0,04 і 0,09, виробляючи в середньому 0,065. Це арифметичні приклади, а не результати розгорнутого продукту чи дослідження. Оцінка потребує значущого порівняння. Низький бал можна легко досягти, коли подія майже не відбувається. Порівняйте модель із простою базовою лінією для тих самих випадків оцінювання та повідомте про частоту подій. Не стверджуйте, що конкретна оцінка є універсально хорошою для непов’язаних наборів даних. Також перевірте калібрування: як часто ця подія трапляється серед випадків, яким присвоєно подібні ймовірності? Нижча оцінка Brier сама по собі не доводить кращого калібрування, оскільки оцінка також винагороджує розділення випадків з різними ризиками. Scikit-learn документує як оцінку ймовірності, так і інструменти калібрування. Разом із відповідним розділенням оцінки вони допомагають відрізнити корисну впевненість від переконливих чисел.