Tiếp theoHướng dẫn tiếp theo
Cách tạo biểu đồ từ dữ liệu của bạn bằng AI
Ứng dụng
HƯỚNG DẪN KỸ THUẬT
Đánh giá ngoài chính sách ước tính hiệu quả hoạt động của một chính sách quyết định mới bằng cách sử dụng dữ liệu được ghi lại bởi chính sách cũ mà không cần triển khai chính sách mới trước.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Việc chấm điểm xu hướng nghịch đảo sẽ tính trọng số lại các kết quả theo xác suất hành động, nhưng các ước tính đáng tin cậy đòi hỏi sự chồng chéo chính sách đầy đủ, các xu hướng chính xác và xử lý cẩn thận phương sai cao và phản hồi có chọn lọc.
A policy maps context, such as a user and current page, to an action such as which item to display. Off-policy evaluation (OPE) estimates a target policy's expected outcomes using logs generated by a different behavior or logging policy. It can help screen a candidate before deployment, especially in recommendation, advertising and contextual bandits. Inverse propensity scoring (IPS) weights each logged reward by the ratio between the target policy's probability of choosing that action and the logging policy's probability. For deterministic policies, only records where the logged action matches the target contribute, scaled by the inverse logging propensity. This corrects selection under assumptions, but small logging propensities create large weights and high variance. Clipping weights can stabilize estimates while introducing bias. Self-normalized IPS divides by the sum of weights, and doubly robust methods combine propensity and reward models, each with distinct assumptions. Support or overlap is crucial. If the logging policy never chose an action in a context, the log contains no direct evidence of its outcome there. No weighting formula can recover that missing counterfactual without additional assumptions. Propensities must be logged accurately, and the reward outcome must be observed. Selective labels, delayed outcomes and interference can also undermine estimates. Use OPE as evidence, not a guarantee. Report effective sample size, weight distribution, overlap diagnostics and sensitivity to estimators. A large estimate driven by a few extreme weights should be treated cautiously. Candidate policy changes that move far outside historical support may require randomized exploration or a controlled online experiment. OPE complements offline predictive metrics but does not replace experimentation for every decision. Evaluation assumptions should be documented with the logging policy version, context features, action set and reward definition.
Một hệ thống gợi ý đã ghi lại mục nào được hiển thị, ngữ cảnh, kết quả nhấp chuột và xác suất chọn mục đó. Một nhà phân tích sử dụng các xu hướng đó để ước tính phần thưởng kỳ vọng của một chính sách ứng viên từ nhật ký cũ.
Một chính sách mục tiêu chọn các hành động mà chính sách ghi nhật ký hầu như không bao giờ chọn. Một vài kết quả khớp nhận được trọng số nghịch đảo lớn, tạo ra một ước tính nhiễu và có khả năng không ổn định.
Một nhóm so sánh IPS thô với một bộ ước tính tự chuẩn hóa và một bộ ước tính mạnh mẽ kép, báo cáo các giả định và độ nhạy thay vì chọn bất kỳ con số nào có lợi nhất.
Một đánh giá chính sách thiếu xác suất hành động đã ghi. Nhà phân tích không tuyên bố kết quả IPS không chệch mà thay vào đó thu thập các nhật ký ngẫu nhiên tốt hơn hoặc chạy một thử nghiệm có kiểm soát.
OPE có thể giúp các nhóm giảm thiểu rủi ro bằng cách sàng lọc các chính sách trong phạm vi hỗ trợ của các nhật ký hiện có và xác định nơi bằng chứng quá yếu. Việc thu thập dữ liệu trong tương lai nên ghi lại các xu hướng hành động, mức độ tiếp xúc, ngữ cảnh và kết quả với các phiên bản chính sách ổn định. Các nhóm có thể kết hợp OPE với các thử nghiệm ngẫu nhiên nhỏ để cải thiện sự hỗ trợ và xác thực các ước tính. Bảng điều khiển nên hiển thị các đuôi trọng số và kích thước mẫu hiệu dụng cùng với giá trị chính sách. Khi một ứng viên thay đổi hành vi đáng kể, phản ứng thích hợp có thể là thu thập bằng chứng mới thay vì ngoại suy ngoài các nhật ký.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Đánh giá ngoài chính sách ước tính hiệu suất của một chính sách quyết định mới bằng cách sử dụng dữ liệu được ghi lại bởi một chính sách cũ hơn mà không cần triển khai chính sách mới trước. Việc chấm điểm xu hướng nghịch đảo sẽ tính trọng số lại các kết quả theo xác suất hành động, nhưng các ước tính đáng tin cậy đòi hỏi sự chồng chéo chính sách đầy đủ, các xu hướng chính xác và xử lý cẩn thận phương sai cao và phản hồi có chọn lọc.
OPE sử dụng hành vi và kết quả đã ghi để ước tính hiệu suất theo một chính sách khác.
Trọng số xu hướng nghịch đảo bù đắp cho việc lựa chọn hành động của chính sách ghi nhật ký theo các giả định.
Các xu hướng nhỏ dẫn đến trọng số nghịch đảo lớn, làm cho các ước tính không ổn định.
Nếu trình ghi nhật ký không bao giờ thực hiện một hành động trong một ngữ cảnh, OPE không thể trực tiếp tìm hiểu kết quả của nó ở đó từ các nhật ký đó.
Sự tập trung trọng số có thể làm cho một tập dữ liệu thô lớn hoạt động giống như một mẫu hiệu dụng nhỏ hơn nhiều.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Cách tạo biểu đồ từ dữ liệu của bạn bằng AI
Ứng dụng