Tầm quan trọng của tính năng hoán vị

Tầm quan trọng của hoán vị đặt ra một câu hỏi thực tế: điểm của mô hình phù hợp này thay đổi bao nhiêu khi thông tin trong một đầu vào bị gián đoạn? Đầu tiên đo mô hình trên tập dữ liệu đánh giá. Xáo trộn các giá trị của một tính năng trên các hàng, giữ nguyên các tính năng khác và nhãn kết quả, sau đó chấm điểm lại cho mô hình phù hợp tương tự. Khôi phục dữ liệu và lặp lại cho các tính năng khác. Với số liệu càng cao thì tầm quan trọng là điểm ban đầu trừ đi điểm xáo trộn. Do đó, mức giảm giả thuyết từ 0,82 xuống 0,70 mang lại tầm quan trọng là 0,12. Các đơn vị tuân theo số liệu đã chọn. Đây không tự động là phần trăm đóng góp cho dự đoán và các giá trị quan trọng không cần phải cộng lại thành một. Lặp lại việc xáo trộn vì việc sắp xếp lại ngẫu nhiên khác nhau có thể tạo ra các kết quả khác nhau. Báo cáo mức trung bình và biến thể, cùng với tập dữ liệu số liệu và đánh giá. Giá trị gần bằng 0 có thể có nghĩa là mô hình ít sử dụng tính năng đó trong thử nghiệm này. Nó cũng có thể phát sinh khi một tính năng khác cung cấp thông tin tương tự. Đầu vào tương quan là một vấn đề giải thích lớn. Một mô hình có thể tiếp tục dự đoán tốt sau khi một trong hai cảm biến tương tự bị xáo trộn. Việc loại bỏ cả hai cảm biến có thể có tác động lớn hơn nhiều. Việc xáo trộn cũng có thể tạo ra các kết hợp đầu vào không hợp lý, vì vậy kiến ​​thức về lĩnh vực có ý nghĩa quan trọng khi diễn giải thử nghiệm. Đánh giá hiệu suất dự đoán trước khi diễn giải thứ hạng tính năng. Một mô hình hoạt động kém không thể giải thích một cách đáng tin cậy những đầu vào nào sẽ quan trọng đối với một mô hình tốt hơn. Scikit-learn cung cấp permutation_importance để kiểm tra các công cụ ước tính phù hợp. Việc sử dụng dữ liệu được lưu trữ tập trung vào việc phân tích hành vi của mô hình ngoài các trường hợp đào tạo của nó. Kết quả mô tả mô hình, tập dữ liệu và số liệu này; nó không thiết lập mối quan hệ nhân quả trên thế giới.