Викторина, связанная с руководством · Средний Уровень

Модели мониторинга без ярлыков достоверной информации. Викторина

Отличайте прокси-мониторинг от проверки производительности и обрабатывайте отложенные метки, цензуру и выборочный сбор результатов.

Вопрос 1 из 8

Что может установить сдвиг предсказания-распределения без ярлыков?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что может установить сдвиг предсказания-распределения без ярлыков?
    • The model's inputs or outputs changed under the monitored data
    • That accuracy definitely declined
    • That the new predictions are all wrong
    • That the labels are unbiased
  2. Почему модель уверенности сама по себе не может служить основной истиной?
    • Confidence values are always missing
    • A model can be confidently wrong or poorly calibrated
    • Labels arrive instantly
    • Confidence measures only latency
  3. Что помогает определить окно зрелости с отложенной меткой?
    • Whether a feature should be standardized
    • Which model architecture is most accurate
    • When an outcome has had enough time to be observed
    • How many requests were served
  4. Какая предвзятость может возникнуть, если ярлыки получат только дела, по которым были поданы апелляции?
    • The label delay disappears
    • All predictions become positive
    • The model is necessarily calibrated
    • The labeled sample may not represent all predictions
  5. Зачем сохранять стабильный идентификатор запроса и версию модели во время прогнозирования?
    • To change the prediction after the fact
    • To join a later outcome to the exact prediction record
    • To infer labels from confidence
    • To remove privacy obligations
  6. Which condition describes right-censoring in delayed outcome monitoring?
    • The model has no input features
    • The prediction is hidden from users
    • The outcome has not yet had enough time to occur or be observed
    • A label is stored twice
  7. How should a human-review proxy be interpreted?
    • As a replacement for delayed labels
    • As exact model accuracy
    • As proof every unreviewed case is correct
    • As an indicator that may also reflect reviewer policy and case mix
  8. What should happen when verified labels eventually arrive?
    • Evaluate actual outcomes and revisit earlier proxy-based conclusions
    • Keep proxies as the only metric
    • Discard all prediction logs
    • Assume the proxies were perfectly calibrated