Giám sát mô hình AI

Nó có thể theo dõi chất lượng dữ liệu, sự thay đổi phân phối, các mẫu dự đoán và kết quả đo được. Sự thay đổi trong phân bố đầu vào là lý do để điều tra, chứ không phải là bằng chứng tự động cho thấy độ chính xác đã suy giảm.

Những điểm chính rút ra

• Theo dõi hợp đồng đầu vào và kết quả.
• Giữ cho độ trễ nhãn và giới hạn mẫu luôn hiển thị.
• Chọn phục hồi dựa trên nguyên nhân.

Thiết lập cơ sở từ khoảng thời gian và phiên bản mô hình đã được tài liệu. Theo dõi các trường thiếu, phạm vi không hợp lệ, danh mục mới, độ trễ và phân phối đầu ra. Những tín hiệu này có thể phát hiện lỗi pipeline trước khi có đủ nhãn kết quả để đánh giá chất lượng dự đoán. Khi có kết quả đáng tin cậy, so sánh hiệu suất với đánh giá ban đầu và các giai đoạn gần đây liên quan. Báo cáo kết quả nhóm con và kích thước mẫu. Nhãn thu thập muộn hoặc chọn lọc có thể làm bảng điều khiển trông đầy đủ hơn so với bằng chứng của nó. Phân biệt sự trôi dạt dữ liệu với sự thay đổi trong mối quan hệ giữa đầu vào và kết quả. Có thể dự kiến sẽ có sự thay đổi theo mùa, trong khi định nghĩa tính năng thay đổi có thể chỉ ra lỗi phần mềm. Điều tra nguyên nhân trước khi chọn tái đào tạo làm phản ứng. Xác định ngưỡng cảnh báo, xem xét trách nhiệm và quyết định phục hồi. Các phản hồi có thể bao gồm sửa dữ liệu, thu hồi bản phát hành, thay đổi ngưỡng hoặc đào tạo lại. Xác minh can thiệp trên tài liệu đánh giá phù hợp và tiếp tục đo lường sau đó. Việc giám sát nên dẫn đến hành động có hiểu biết thay vì tự động thay đổi mô hình.

1. Hãy tưởng tượng giá trị trung bình của một đặc điểm nhiệt độ tăng mạnh chỉ sau một đêm.
2. Kiểm tra xem cảm biến có thay đổi từ độ C sang độ F không trước khi kết luận rằng môi trường đã thay đổi.
3. Nếu nguyên nhân là do chuyển đổi đơn vị, hãy sửa pipeline và phát lại các đầu vào bị ảnh hưởng; huấn luyện lại trên các giá trị sai sẽ giải quyết sai vấn đề.

Kịch bản được xây dựng kết nối việc giám sát với chẩn đoán và giải pháp tương xứng.