Викторина, связанная с руководством · Средний Уровень
Оценка несоответствия политике на основе зарегистрированных данных
Примените взвешивание обратной склонности и определите требования к дублированию, дисперсии и регистрации, которые ограничивают ошибочные оценки политики.
Вопрос 1 из 8
Что оценивает оценка вне политики?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что оценивает оценка вне политики?
- A target policy's outcomes using data generated by another policy
- The training accuracy of the logging model
- A model's causal feature effects
- The total number of logged requests
- Почему IPS делит на склонность логирования?
- To make rewards nonnegative
- To reweight observed actions according to how likely the old policy was to choose them
- To eliminate the need for outcomes
- To estimate the context distribution only
- Что происходит, когда политика логирования присваивает очень маленькую вероятность выбранному действию?
- The candidate policy is unbiased automatically
- The action outcome becomes known with certainty
- The inverse weight can become large and increase variance
- The reward is set to zero
- Что означает отсутствие поддержки для целевого действия?
- Every reward is missing
- The action is always optimal
- The target policy equals the logger
- The logs contain little or no evidence for that action in the context
- Зачем сообщать эффективный размер выборки при взвешенных оценках?
- It changes the propensity values
- It reveals whether a few large weights dominate the information
- It measures the number of policy actions possible
- It proves the reward model is correct
- What tradeoff can clipping IPS weights create?
- Guaranteed unbiasedness
- Higher sample size with no assumptions
- Lower variance but potential bias
- No effect on the estimate
- What must be logged to support ordinary IPS evaluation?
- The candidate policy's future decisions
- Only model predictions
- Only final reward totals
- Action probabilities and outcomes with relevant context
- When might a controlled experiment be needed instead of relying on OPE?
- When the candidate policy acts outside historical support
- Whenever a metric is positive
- When propensities are accurately logged
- When the target matches the logging policy