Il prossimoProssima guida
Come creare grafici dai tuoi dati con l'intelligenza artificiale
Applicazioni
GUIDA TECNICA
La valutazione off-policy stima come potrebbe comportarsi una nuova politica decisionale utilizzando i dati registrati da una politica precedente, senza prima implementare la nuova politica.
Ascolta questa guidaNarrato dall'IA · ~3 min
Il punteggio di propensione inversa (IPS) ripesa gli esiti in base alle probabilità delle azioni, ma stime affidabili richiedono un adeguato sovrapporsi delle politiche, propensioni corrette e una gestione attenta dell'alta varianza e del feedback selettivo.
A policy maps context, such as a user and current page, to an action such as which item to display. Off-policy evaluation (OPE) estimates a target policy's expected outcomes using logs generated by a different behavior or logging policy. It can help screen a candidate before deployment, especially in recommendation, advertising and contextual bandits. Inverse propensity scoring (IPS) weights each logged reward by the ratio between the target policy's probability of choosing that action and the logging policy's probability. For deterministic policies, only records where the logged action matches the target contribute, scaled by the inverse logging propensity. This corrects selection under assumptions, but small logging propensities create large weights and high variance. Clipping weights can stabilize estimates while introducing bias. Self-normalized IPS divides by the sum of weights, and doubly robust methods combine propensity and reward models, each with distinct assumptions. Support or overlap is crucial. If the logging policy never chose an action in a context, the log contains no direct evidence of its outcome there. No weighting formula can recover that missing counterfactual without additional assumptions. Propensities must be logged accurately, and the reward outcome must be observed. Selective labels, delayed outcomes and interference can also undermine estimates. Use OPE as evidence, not a guarantee. Report effective sample size, weight distribution, overlap diagnostics and sensitivity to estimators. A large estimate driven by a few extreme weights should be treated cautiously. Candidate policy changes that move far outside historical support may require randomized exploration or a controlled online experiment. OPE complements offline predictive metrics but does not replace experimentation for every decision. Evaluation assumptions should be documented with the logging policy version, context features, action set and reward definition.
Un sistema di raccomandazione ha registrato quale elemento ha mostrato, il contesto, l'esito del clic e la probabilità di selezione di quell'elemento. Un analista utilizza queste propensioni per stimare la ricompensa attesa di una politica candidata dal vecchio registro.
Una politica target sceglie azioni che la politica di registrazione ha quasi mai selezionato. I pochi esiti corrispondenti ricevono pesi inversi elevati, producendo una stima rumorosa e potenzialmente instabile.
Un team confronta l'IPS grezzo con uno stimatore auto-normalizzato e uno stimatore doppiamente robusto, riportando ipotesi e sensibilità anziché selezionare il numero più favorevole.
Una valutazione della politica manca delle probabilità delle azioni registrate. L'analista non afferma risultati IPS privi di bias e invece raccoglie registri randomizzati migliori o esegue un esperimento controllato.
L'OPE può aiutare i team a ridurre il rischio selezionando politiche all'interno del supporto dei registri esistenti e identificando dove le prove sono troppo deboli. La futura raccolta dati dovrebbe registrare propensioni delle azioni, esposizione, contesto ed esiti con versioni di politica stabili. I team possono combinare l'OPE con piccoli esperimenti randomizzati per migliorare il supporto e validare le stime. I dashboard dovrebbero mostrare le code dei pesi e la dimensione campionaria effettiva accanto al valore della politica. Quando un candidato cambia sostanzialmente il comportamento, la risposta appropriata potrebbe essere raccogliere nuove prove anziché estrapolare oltre i registri.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La valutazione off-policy stima come potrebbe comportarsi una nuova politica decisionale utilizzando i dati registrati da una politica precedente, senza prima implementare la nuova politica. Il punteggio di propensione inversa ripesa gli esiti in base alle probabilità delle azioni, ma stime affidabili richiedono un adeguato sovrapporsi delle politiche, propensioni corrette e una gestione attenta dell'alta varianza e del feedback selettivo.
L'OPE utilizza il comportamento e gli esiti registrati per stimare le prestazioni sotto una politica diversa.
Il ponderamento di propensione inversa compensa la selezione delle azioni della politica di registrazione sotto determinate ipotesi.
Propensioni piccole portano a pesi inversi elevati, rendendo le stime instabili.
Se il registratore non ha mai eseguito un'azione in un contesto, l'OPE non può imparare direttamente il suo esito lì da quei registri.
La concentrazione dei pesi può far sì che un grande dataset grezzo si comporti come un campione effettivo molto più piccolo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Come creare grafici dai tuoi dati con l'intelligenza artificiale
Applicazioni