Giám sát mô hình AI

Thiết lập cơ sở từ khoảng thời gian và phiên bản mô hình đã được tài liệu. Theo dõi các trường thiếu, phạm vi không hợp lệ, danh mục mới, độ trễ và phân phối đầu ra. Những tín hiệu này có thể phát hiện lỗi pipeline trước khi có đủ nhãn kết quả để đánh giá chất lượng dự đoán. Khi có kết quả đáng tin cậy, so sánh hiệu suất với đánh giá ban đầu và các giai đoạn gần đây liên quan. Báo cáo kết quả nhóm con và kích thước mẫu. Nhãn thu thập muộn hoặc chọn lọc có thể làm bảng điều khiển trông đầy đủ hơn so với bằng chứng của nó. Phân biệt sự trôi dạt dữ liệu với sự thay đổi trong mối quan hệ giữa đầu vào và kết quả. Có thể dự kiến sẽ có sự thay đổi theo mùa, trong khi định nghĩa tính năng thay đổi có thể chỉ ra lỗi phần mềm. Điều tra nguyên nhân trước khi chọn tái đào tạo làm phản ứng. Xác định ngưỡng cảnh báo, xem xét trách nhiệm và quyết định phục hồi. Các phản hồi có thể bao gồm sửa dữ liệu, thu hồi bản phát hành, thay đổi ngưỡng hoặc đào tạo lại. Xác minh can thiệp trên tài liệu đánh giá phù hợp và tiếp tục đo lường sau đó. Việc giám sát nên dẫn đến hành động có hiểu biết thay vì tự động thay đổi mô hình.