Hiệu chỉnh tin cậy AI

Phân biệt hiệu chuẩn thống kê với sự tin cậy của một người. Điểm xác suất đã hiệu chỉnh có mối quan hệ thực nghiệm với tần suất dự đoán đúng trong các trường hợp có thể so sánh. Niềm tin của con người cũng phụ thuộc vào thiết kế giao diện, kinh nghiệm trong quá khứ, lời giải thích và hậu quả của sai lầm. Sự tự tin trong lời nói của một người mẫu là một kết quả khác để đánh giá. Nghe có vẻ chắc chắn nếu không có bằng chứng đáng tin cậy. Ngay cả một mô hình được hiệu chỉnh thống kê cũng có thể hoạt động kém và việc hiệu chuẩn tốt trên một tập dữ liệu không đảm bảo hiệu chuẩn sau khi thay đổi ngôn ngữ, miền hoặc nhiệm vụ. Cung cấp cho người dùng thông tin hỗ trợ kiểm tra độc lập. Hiển thị các nguồn, mô tả các hạn chế có liên quan và tách biệt các kết quả đã được xác minh khỏi các kết luận được suy luận. Tránh các huy hiệu trang trí tự tin gợi ý độ chính xác cao hơn mức được đo. Kiểm tra cách mọi người sử dụng hệ thống, bao gồm cả việc liệu họ có nhận thấy lỗi và thực hiện ghi đè một cách thích hợp hay không. Đo lường cả sự phụ thuộc quá mức và sự từ chối không cần thiết. Cập nhật hướng dẫn khi hành vi thay đổi và duy trì cách thức đơn giản để báo cáo lỗi hoặc hoàn thành nhiệm vụ mà không cần mô hình.