Khái niệm cơ bản về đánh giá AI

Viết tiêu chí chấp nhận đầu tiên. Chỉ định đầu vào, đầu ra dự kiến, các lỗi có thể chấp nhận được, hạn chế về thời gian phản hồi và các điều kiện sẽ khiến hệ thống ngừng hoạt động hoặc leo thang. Bao gồm một đường cơ sở đơn giản để cho biết liệu độ phức tạp tăng thêm có mang lại lợi ích thiết thực hay không. Xây dựng các bộ phát triển và đánh giá riêng biệt. Các ví dụ phát triển hỗ trợ việc lặp lại; một tập hợp được tổ chức sẽ kiểm tra các lựa chọn sau khi chúng được thực hiện. Việc điều chỉnh liên tục bộ thử nghiệm cuối cùng sẽ biến nó thành một bộ phát triển khác. Ghi lại các phiên bản để có thể truy tìm điểm đã thay đổi từ dữ liệu, lời nhắc, mô hình hoặc cách tính điểm đã thay đổi. Sử dụng số liệu phù hợp với nhiệm vụ. Trình phân loại cần phân tích lỗi theo từng lớp cụ thể; người tóm tắt cần kiểm tra tính nhất quán và phạm vi thực tế; một tác nhân cần xác minh các hành động đã hoàn thành và các tác dụng phụ ngoài ý muốn. Bao gồm các trường hợp khó thay vì chỉ đưa vào thông tin điển hình. Xem xét kết quả với sự không chắc chắn và hậu quả trong tâm trí. Một sai sót hiếm gặp có thể quan trọng hơn nhiều sự khác biệt về cách diễn đạt vô hại. Lặp lại một nhiệm vụ ngẫu nhiên đủ để hiểu được sự biến đổi và ghi lại khi đánh giá không thể hiện việc sử dụng thực tế. Đánh giá hỗ trợ một quyết định; nó không loại bỏ sự không chắc chắn.