Khả năng quan sát AI

Nó kết nối các yêu cầu với truy xuất, gọi mô hình, công cụ và kết quả cuối cùng. Mục tiêu là điều tra hành vi thực tế mà không xem lời giải thích được tạo ra như một dấu vết đáng tin cậy của tính toán nội bộ.

Những điểm chính rút ra

• Kết nối các chỉ số, dấu vết và sự kiện.
• Đo lường kết quả công việc cũng như thời gian hoạt động.
• Giảm thiểu và bảo vệ nội dung đã ghi lại.

Sử dụng các tín hiệu bổ sung. Các chỉ số cho thấy các mẫu như độ trễ, tỷ lệ lỗi và sử dụng tài nguyên. Dấu vết kết nối các giai đoạn của yêu cầu. Nhật ký mô tả các sự kiện giúp giải thích lỗi hoặc quyết định. Định danh yêu cầu và phiên bản ổn định giúp các tín hiệu này hữu ích hơn khi kết hợp với nhau. Thêm các phép đo ở cấp tác vụ khi có thể. Một cuộc gọi mô hình thành công về mặt kỹ thuật vẫn có thể trả về thông tin không được hỗ trợ hoặc không hoàn thành hành động yêu cầu. Theo dõi phạm vi bằng chứng, thất bại trong xác thực, leo thang và kết quả đã xác minh cùng với sức khỏe truyền dẫn. Bảo vệ nội dung nhạy cảm trong dữ liệu truyền dữ liệu. Ghi lại mọi lời nhắc và phản hồi có thể tạo ra một kho dữ liệu riêng tư mới. Thu thập tối thiểu cần thiết cho mục đích chẩn đoán, áp dụng kiểm soát truy cập và lưu trữ, và ưu tiên thông tin bị bôi đen hoặc tổng hợp khi phục vụ cùng nhu cầu. Làm cho cảnh báo có thể hành động được. Xác định chủ sở hữu, ngưỡng liên quan, bối cảnh chẩn đoán và quy trình phục hồi. Tránh các trang sự kiện nhiễu không bao giờ dẫn đến quyết định. Kiểm tra xem có sự cố ý gây ra sự cố xuất hiện trong tín hiệu mong đợi và người vận hành có thể truy vết nó đến điểm phát hành bị ảnh hưởng hay không.

1. Hãy tưởng tượng người dùng báo cáo câu trả lời chậm trong khi thời gian tạo mô hình không thay đổi.
2. Theo dõi yêu cầu cho thấy việc truy xuất tài liệu tăng từ 100 ms lên 2 giây sau khi thay đổi chỉ mục.
3. Hãy điều tra sự phụ thuộc đó và xác nhận phục hồi bằng các dấu vết mới thay vì thay thế mô hình mà không có bằng chứng.

Các thời gian được phát minh cho thấy giá trị của các phép đo liên kết.