ДалееСледующее руководство
Как создавать диаграммы на основе ваших данных с помощью ИИ
Приложения
Техническое РУКОВОДСТВО
Оценка вне политики оценивает, как может работать новая политика принятия решений, используя данные, зарегистрированные старой политикой, без предварительного развертывания новой политики.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Обратное пропенсити-оценивание переоценивает исходы по вероятностям действий, но надёжные оценки требуют достаточного перекрытия политик, правильных пропенсити и тщательного обращения с высокой дисперсией и селективной обратной связью.
A policy maps context, such as a user and current page, to an action such as which item to display. Off-policy evaluation (OPE) estimates a target policy's expected outcomes using logs generated by a different behavior or logging policy. It can help screen a candidate before deployment, especially in recommendation, advertising and contextual bandits. Inverse propensity scoring (IPS) weights each logged reward by the ratio between the target policy's probability of choosing that action and the logging policy's probability. For deterministic policies, only records where the logged action matches the target contribute, scaled by the inverse logging propensity. This corrects selection under assumptions, but small logging propensities create large weights and high variance. Clipping weights can stabilize estimates while introducing bias. Self-normalized IPS divides by the sum of weights, and doubly robust methods combine propensity and reward models, each with distinct assumptions. Support or overlap is crucial. If the logging policy never chose an action in a context, the log contains no direct evidence of its outcome there. No weighting formula can recover that missing counterfactual without additional assumptions. Propensities must be logged accurately, and the reward outcome must be observed. Selective labels, delayed outcomes and interference can also undermine estimates. Use OPE as evidence, not a guarantee. Report effective sample size, weight distribution, overlap diagnostics and sensitivity to estimators. A large estimate driven by a few extreme weights should be treated cautiously. Candidate policy changes that move far outside historical support may require randomized exploration or a controlled online experiment. OPE complements offline predictive metrics but does not replace experimentation for every decision. Evaluation assumptions should be documented with the logging policy version, context features, action set and reward definition.
Рекордер записал, какой элемент он показал, контекст, результат клика и вероятность выбора этого элемента. Аналитик использует эти пропенсити для оценки ожидаемой награды кандидата политики на основе старого лога.
Целевая политика выбирает действия, которые почти никогда не выбирала логгирующая политика. Несколько совпадающих исходов получают большие обратные веса, что приводит к шумной и потенциально нестабильной оценке.
Команда сравнивает исходный IPS с самонаормализованным оценщиком и двойственно устойчивым оценщиком, сообщая об предположениях и чувствительности, а не выбирая то число, которое наиболее выгодно.
Оценка политики не содержит вероятностей зафиксированных действий. Аналитик не утверждает, что результаты IPS непредвзяты, а вместо этого собирает более качественные рандомизированные логи или проводит контролируемый эксперимент.
OPE может помочь командам снизить риск, проверяя политики с поддержкой существующих логов и выявляя, где доказательства слишком слабы. В дальнейшем сбор данных должен фиксировать склонности к действиям, экспозицию, контекст и результаты с устойчивыми версиями политики. Команды могут сочетать OPE с небольшими рандомизированными экспериментами для улучшения поддержки и проверки оценок. Панели управления должны показывать хвосты весов и эффективный размер выборки наряду со значением политики. Когда кандидат существенно меняет поведение, подходящим ответом может быть сбор новых доказательств, а не экстраполяция за пределы логов.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Оценка вне политики оценивает, как новая политика принятия решений может работать, используя данные, залогированные старой политикой, без предварительного развертывания новой политики. Обратное взвешивание по склонностям переоценивает результаты по вероятностям действий, но надёжные оценки требуют достаточного перекрытия политик, правильных склонностей и тщательной обработки высокой дисперсии и селективной обратной связи.
OPE использует залогированное поведение и результаты для оценки производительности при другой политике.
Обратное взвешивание по склонностям компенсирует выбор действий политики логирования при определённых предположениях.
Малые склонности приводят к большим обратным весам, делая оценки нестабильными.
Если логгер никогда не выбирал действие в данном контексте, OPE не может напрямую узнать его результат из этих логов.
Концентрация весов может заставить большой необработанный набор данных вести себя как гораздо меньший эффективный набор.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Как создавать диаграммы на основе ваших данных с помощью ИИ
Приложения