Викторина, связанная с руководством · Средний Уровень
Модели мониторинга без ярлыков достоверной информации. Викторина
Отличайте прокси-мониторинг от проверки производительности и обрабатывайте отложенные метки, цензуру и выборочный сбор результатов.
Вопрос 1 из 8
Что может установить сдвиг предсказания-распределения без ярлыков?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что может установить сдвиг предсказания-распределения без ярлыков?
- The model's inputs or outputs changed under the monitored data
- That accuracy definitely declined
- That the new predictions are all wrong
- That the labels are unbiased
- Почему модель уверенности сама по себе не может служить основной истиной?
- Confidence values are always missing
- A model can be confidently wrong or poorly calibrated
- Labels arrive instantly
- Confidence measures only latency
- Что помогает определить окно зрелости с отложенной меткой?
- Whether a feature should be standardized
- Which model architecture is most accurate
- When an outcome has had enough time to be observed
- How many requests were served
- Какая предвзятость может возникнуть, если ярлыки получат только дела, по которым были поданы апелляции?
- The label delay disappears
- All predictions become positive
- The model is necessarily calibrated
- The labeled sample may not represent all predictions
- Зачем сохранять стабильный идентификатор запроса и версию модели во время прогнозирования?
- To change the prediction after the fact
- To join a later outcome to the exact prediction record
- To infer labels from confidence
- To remove privacy obligations
- Which condition describes right-censoring in delayed outcome monitoring?
- The model has no input features
- The prediction is hidden from users
- The outcome has not yet had enough time to occur or be observed
- A label is stored twice
- How should a human-review proxy be interpreted?
- As a replacement for delayed labels
- As exact model accuracy
- As proof every unreviewed case is correct
- As an indicator that may also reflect reviewer policy and case mix
- What should happen when verified labels eventually arrive?
- Evaluate actual outcomes and revisit earlier proxy-based conclusions
- Keep proxies as the only metric
- Discard all prediction logs
- Assume the proxies were perfectly calibrated