AI và SHAP có thể giải thích được
AI có thể giải thích (XAI) là bộ công cụ giúp biến dự đoán không rõ ràng của mô hình thành lý do mà con người có thể đọc được.
Tổng quan
SHAP, built on cooperative game theory, is the most widely used method for fairly attributing a prediction to each input feature.
Lặn sâu
Nhiều mô hình hiệu suất cao (cây tăng cường độ dốc, lưới sâu) là 'hộp đen': chính xác nhưng khó thẩm vấn. SHAP (SHapley Additive exPlanations), được Scott Lundberg và Su-In Lee giới thiệu vào năm 2017, mượn giá trị Shapley từ lý thuyết trò chơi hợp tác. Nó coi mỗi tính năng là một 'trình phát' và hỏi xem tính năng đó đóng góp bao nhiêu vào việc đưa dự đoán ra khỏi đường cơ sở (sản lượng trung bình). Bằng cách lấy trung bình mức đóng góp cận biên của một đối tượng trên tất cả các thứ tự có thể có của các đối tượng, SHAP tạo ra các giá trị chính xác cục bộ (chúng tổng hợp với dự đoán), nhất quán và bổ sung. Kết quả là những lời giải thích cho mỗi dự đoán ('thu nhập đã tăng điểm cho vay của bạn lên +0,12') cộng với các bản tóm tắt tầm quan trọng của tính năng toàn cầu, tất cả đều dựa trên cơ sở chung, có cơ sở về mặt lý thuyết.
Hiểu biết kỹ thuật
Phép tính Shapley thuần túy có tính hàm mũ: nó tính trung bình hiệu ứng cận biên của một đối tượng trên mọi tập hợp con của các đối tượng khác. SHAP làm cho việc này trở nên dễ thực hiện bằng các phím tắt dành riêng cho từng mô hình. TreeSHAP tính toán các giá trị chính xác cho tập hợp cây trong thời gian đa thức bằng cách đi theo cấu trúc cây; KernelSHAP xấp xỉ bất kỳ mô hình nào thông qua hồi quy tuyến tính có trọng số trên các đầu vào nhiễu loạn; DeepSHAP điều chỉnh lan truyền ngược. Tất cả đều có chung đảm bảo về tính cộng: mỗi dự đoán bằng đường cơ sở cộng với tổng các giá trị SHAP đặc trưng của nó.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của AI và SHAP có thể giải thích được
XAI đang chuyển từ tiện ích bổ sung tùy chọn sang yêu cầu quy định: Đạo luật AI của EU và các quy tắc 'hành động bất lợi' tài chính yêu cầu giải thích cho các quyết định có rủi ro cao. Nghiên cứu đang hướng tới những lời giải thích trung thực phản ánh chân thực lý luận mô hình hơn là những câu chuyện có vẻ hợp lý và hướng tới việc giải thích các mô hình ngôn ngữ lớn, trong đó SHAP cấp mã thông báo rất tốn kém. Mong đợi sự tích hợp chặt chẽ hơn của các phân bổ kiểu SHAP với các phương pháp nhân quả, bảng thông tin tương tác và quy trình kiểm tra được tiêu chuẩn hóa để những người không phải là chuyên gia có thể phản đối các quyết định tự động.
Triển khai trong thế giới thực
Một ngân hàng sử dụng SHAP để tạo ra các lý do 'hành động bất lợi' được yêu cầu về mặt pháp lý khiến khoản vay bị từ chối, cho người nộp đơn biết các yếu tố nào (nợ trên thu nhập, độ dài lịch sử tín dụng) đã dẫn đến quyết định.
Các bác sĩ lâm sàng xem xét biểu đồ lực SHAP trên mô hình nguy cơ nhiễm trùng huyết để xem những dấu hiệu sinh tồn và giá trị xét nghiệm nào đã đẩy bệnh nhân vào nhóm nguy cơ cao trước khi hành động cảnh báo.
Một nhà khoa học dữ liệu sử dụng sơ đồ tóm tắt SHAP (beeswarm) để phát hiện rằng mô hình rời bỏ đang dựa nhiều vào trường bị rò rỉ trong tương lai, làm lộ dữ liệu rò rỉ.
Công ty bảo hiểm kiểm tra mô hình định giá với biểu đồ phụ thuộc SHAP để kiểm tra xem liệu một proxy được bảo vệ như mã ZIP có ảnh hưởng không công bằng đến phí bảo hiểm hay không.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Explainable AI and SHAP quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Ví dụ đối nghịch và tính mạnh mẽ
Câu hỏi thường gặp
What is Explainable AI and SHAP?
AI có thể giải thích (XAI) là bộ công cụ giúp biến dự đoán không rõ ràng của mô hình thành lý do mà con người có thể đọc được. SHAP, được xây dựng trên lý thuyết trò chơi hợp tác, là phương pháp được sử dụng rộng rãi nhất để đưa ra dự đoán một cách công bằng cho từng tính năng đầu vào.
Giá trị SHAP dựa trên khái niệm toán học nào?
SHAP điều chỉnh giá trị Shapley, giá trị này phân bổ công bằng 'khoản thanh toán' (dự đoán) cho 'người chơi' (các tính năng đầu vào) dựa trên đóng góp của họ.
Tại sao việc tính toán các giá trị Shapley chính xác thường đắt tiền?
Các giá trị Shapley chính xác xem xét mọi thứ tự/tập hợp con các đối tượng có thể có, tăng theo cấp số nhân theo số lượng đối tượng.
Biến thể SHAP nào tính toán các giá trị chính xác một cách hiệu quả cho các mô hình cây được tăng cường độ dốc?
TreeSHAP khai thác cấu trúc của cây quyết định để tính toán các giá trị Shapley chính xác theo thời gian đa thức thay vì theo thời gian hàm mũ.
Sơ đồ tóm tắt SHAP có thể giúp nhà khoa học dữ liệu phát hiện điều gì trong quá trình phát triển mô hình?
Nếu một tính năng duy nhất vượt trội tầm quan trọng của SHAP một cách bất ngờ, nó có thể tiết lộ rò rỉ dữ liệu, chẳng hạn như trường mã hóa câu trả lời.