Викторина, связанная с руководством · Средний Уровень

Викторина по оценке Брайера

Практикуйте расчеты баллов Брайера, калибровку вероятности и сравнение базовых показателей с использованием прогнозов доставки и бинарных результатов.

Связанные направляющие путиОценка Брайера
Вопрос 1 из 8

Посылка имеет 70% вероятность опоздания и опоздания. Какая бинарная потеря Брайера следует из формулы справочника?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Посылка имеет 70% вероятность опоздания и опоздания. Какая бинарная потеря Брайера следует из формулы справочника?
    • 0,30
    • 0.09
    • 0.49
    • 0,70
  2. Какой расчет дает объединенный балл Брайера для двух посылок с потерями 0,04 и 0,09?
    • Add the losses to obtain 0.13
    • Subtract the losses to obtain 0.05
    • Take the larger loss, 0.09
    • Average the losses to obtain 0.065
  3. Модель доставки сообщает о вероятности опоздания, но в столбце результатов используется значение 1 для своевременной доставки. Что оценщик должен исправить в первую очередь?
    • Make the probability and outcome refer to the same event
    • Round all probabilities to whole numbers
    • Use only parcels predicted to be late
    • Replace the mean with the largest loss
  4. Почему показатель Брайера модели может улучшиться без улучшения ее калибровки?
    • The score ignores predicted probabilities
    • The score always rewards higher confidence
    • Better separation of risk groups can also improve the score
    • Calibration affects only multiclass predictions
  5. Когда эскалации происходят редко, какое сравнение делает низкий показатель Брайера модели заявки более информативным?
    • Comparing it with a model evaluated on a different event rate
    • Comparing it with a constant-rate baseline on the same tickets
    • Comparing only tickets whose predicted probability exceeds 0.5
    • Comparing only the models' percentages of correct labels
  6. Which part of the classical Brier decomposition depends on the overall event rate?
    • Reliability
    • Resolution
    • The difference between reliability and resolution
    • Uncertainty
  7. Why should an evaluator retain 0.6 and 0.9 instead of converting both delivery forecasts into the label 'late' before scoring?
    • Rounding removes the confidence information the Brier score evaluates
    • Thresholding preserves all probability information needed by the score
    • Rounding makes the score a direct measure of probability calibration
    • Only forecasts above the threshold need to be retained
  8. Two software reports use different binary and multiclass Brier conventions. Which detail must be checked before their numbers are compared?
    • Whether both reports use the same classification threshold
    • Whether both models have the same accuracy
    • The score normalization and ordering of classes
    • Whether each class receives the same number of predictions