Chuyện gì đã xảy ra
Các nhà nghiên cứu đề xuất phương pháp chưng cất cục bộ, một phương pháp trong đó mô hình AI hộp đen đóng vai trò là giáo viên cho mô hình học sinh tuyến tính chính quy được điều chỉnh cho phù hợp với từng điểm truy vấn. Bài báo báo cáo rằng phương pháp này gần như phù hợp với độ chính xác của giáo viên trên 17 bộ dữ liệu chuẩn trong khi tạo ra các mô hình thưa thớt, có thể giải thích cục bộ.
Một bài báo được gửi tới arXiv vào ngày 24 tháng 8 đề xuất một phương pháp gọi là chưng cất cục bộ để diễn giải các dự đoán từ hệ thống AI hộp đen. Các tác giả tập trung vào các mô hình hiện đại như mô hình nền dạng bảng và tổ hợp được tăng cường độ dốc, mà họ mô tả là có khả năng chính xác hơn các phương pháp cổ điển nhưng khó lý giải. Hệ thống được đề xuất của họ tạo ra một mô hình “sinh viên” tuyến tính chính quy, riêng biệt gần mỗi điểm truy vấn, với hệ thống hộp đen đóng vai trò là “giáo viên”.
Phương pháp này xác định những gì được coi là cục bộ theo cách phụ thuộc vào kết quả. Nó nâng cao các quan sát huấn luyện có kết quả dự đoán tương tự với dự đoán được giải thích, thay vì chỉ dựa vào khoảng cách trong không gian đặc trưng ban đầu. Nó cũng bao gồm dự đoán của giáo viên tại điểm truy vấn dưới dạng quan sát giả có trọng số, gắn kết sự phù hợp tuyến tính cục bộ với đầu ra của mô hình hộp đen. Nguồn tin cho biết tầm quan trọng của quan sát giả đó được ước tính từ dữ liệu.
Để giải thích, các tác giả thêm một lượng nhỏ ngẫu nhiên Gaussian vào mục tiêu cục bộ và điều chỉnh lại mô hình học sinh nhiều lần. Họ sử dụng tần suất lựa chọn đặc điểm để xác định các đặc điểm xuất hiện một cách đáng tin cậy tại một điểm truy vấn cụ thể. Họ cũng phân cụm các kết quả phù hợp ngẫu nhiên để xác định các nhóm con ổn định trên dữ liệu. Theo hình phạt lasso, bài báo cho biết nó chứng minh rằng xác suất lựa chọn tính năng thu được vẫn ổn định dưới những nhiễu loạn nhỏ của phản ứng huấn luyện.
Trên 17 tập dữ liệu điểm chuẩn, các tác giả báo cáo rằng việc chắt lọc cục bộ gần như phù hợp với độ chính xác của giáo viên AI trong khi tạo ra mô hình tuyến tính thưa thớt cho từng điểm kiểm tra. Trong một ví dụ về biểu hiện gen ung thư ở chiều cao, khung này xác định các phân nhóm bệnh nhân có mô hình cục bộ sử dụng các gen khác nhau. Các tác giả cho biết loại không đồng nhất này là vô hình đối với mô hình tuyến tính toàn cầu và khó hiển thị trực tiếp trong mô hình hộp đen. Nguồn không cung cấp điểm chuẩn riêng lẻ, tên tập dữ liệu hoặc kết quả lâm sàng trong bản tóm tắt.
Tại sao nó quan trọng
Phương pháp này nhắm đến một vấn đề trọng tâm trong AI có tính rủi ro cao: một hệ thống có thể dự đoán chính xác mà không cần làm rõ lý do tại sao nó đạt được một kết quả cụ thể. Giải thích cục bộ có thể giúp người dùng kiểm tra những tính năng nào quan trọng đối với một dự đoán riêng lẻ và liệu các nhóm khác nhau có nhận được quyết định vì những lý do khác nhau hay không.
Khả năng diễn giải đặc biệt quan trọng khi dự đoán AI có thể ảnh hưởng đến việc điều trị, tính đủ điều kiện, đánh giá rủi ro hoặc khả năng tiếp cận dịch vụ của một người. Một lời giải thích tổng thể duy nhất có thể ngụ ý rằng các biến giống nhau sẽ thúc đẩy mọi quyết định, ngay cả khi một mô hình hoạt động khác nhau giữa các vùng dữ liệu. Cách tiếp cận cục bộ của bài báo được thiết kế để bộc lộ sự khác biệt đó bằng cách đưa ra lời giải thích sơ sài xung quanh mỗi dự đoán.
Cấu trúc được đề xuất có thể cung cấp cho các nhà phân tích một đối tượng cụ thể hơn để kiểm tra hơn là xếp hạng tầm quan trọng của tính năng chung. Mô hình tuyến tính cục bộ có thể chỉ ra hướng và sự đóng góp tương đối của các đối tượng được chọn gần một điểm truy vấn, trong khi các lần chỉnh sửa lặp lại cung cấp cách phân biệt các đối tượng tái diễn với các đối tượng chỉ xuất hiện do những thay đổi nhỏ trong quá trình khớp. Đây là những tuyên bố về thiết kế của phương pháp và các thí nghiệm được báo cáo, không phải bằng chứng cho thấy những giải thích đó tự động đúng về mặt nhân quả.
Kết quả của nhóm con có thể hữu ích vì nó kết nối khả năng diễn giải được với tính không đồng nhất của mô hình. Trong ví dụ về biểu hiện gen ung thư, bài báo báo cáo rằng các phân nhóm bệnh nhân khác nhau có liên quan đến các mô hình địa phương sử dụng các gen khác nhau. Nếu được nhân rộng, những phát hiện như vậy có thể giúp các nhà nghiên cứu điều tra xem liệu hệ thống AI có dựa vào các mẫu riêng biệt trong các phần khác nhau của tập dữ liệu hay không thay vì coi các dự đoán của nó như một quy tắc thống nhất duy nhất.
Phương pháp này cũng giải quyết sự cân bằng thực tế giữa độ chính xác và tính minh bạch. Việc thay thế một mô hình phức tạp bằng một mô hình gần đúng tuyến tính toàn cầu có thể làm giảm độ chính xác, trong khi chỉ dựa vào hộp đen có thể khiến các quyết định riêng lẻ khó được kiểm tra. Chắt lọc cục bộ cố gắng duy trì hành vi dự đoán của giáo viên gần mỗi truy vấn trong khi trình bày một mô hình nhỏ hơn mà mọi người có thể kiểm tra. Nguồn không xác định liệu sự đánh đổi này có tồn tại trong các hệ thống thời gian thực, quy trình công việc được quản lý hay các quyết định liên quan đến hậu quả đáng kể của con người hay không.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
Xem gì tiếp theo
Tác phẩm là bản in trước arXiv và nguồn không thiết lập đánh giá ngang hàng, sao chép, triển khai hoặc hiệu suất độc lập trong cài đặt vận hành. Các câu hỏi mở quan trọng bao gồm mức độ ổn định của các giải thích khi thay đổi dữ liệu, phương pháp này hoạt động tốt như thế nào ngoài các tiêu chuẩn được báo cáo và liệu người dùng có diễn giải chính xác các mô hình địa phương hay không.
Hạn chế trước mắt là tình trạng chứng cứ của tác phẩm. Nguồn xác định bài viết là bản đệ trình arXiv và báo cáo các tuyên bố toán học và thực nghiệm của tác giả, nhưng nó không ghi lại đánh giá ngang hàng, sao chép độc lập, so sánh với tất cả các phương pháp giải thích chính hoặc sử dụng trong hệ thống ra quyết định trực tiếp. Do đó, các kết quả được báo cáo nên được coi là kết quả nghiên cứu sơ bộ.
Các đánh giá trong tương lai nên kiểm tra xem các giải thích cục bộ có ổn định hay không khi phân phối dữ liệu cơ bản thay đổi, khi các tính năng tương quan với nhau và khi mô hình giáo viên được đào tạo lại. Kết quả về độ ổn định của bài báo liên quan đến những nhiễu loạn nhỏ trong phản ứng huấn luyện theo thiết lập Lasso ngẫu nhiên đã nêu của nó; bản thân điều đó không thiết lập tính chắc chắn cho các biến bị thiếu, sự dịch chuyển phân phối, sai số đo lường hoặc những thay đổi trong kiến trúc mô hình.
Ví dụ về bệnh ung thư cũng cần được theo dõi cẩn thận. Việc xác định các gen được sử dụng bởi các mô hình địa phương khác nhau không chứng minh được rằng những gen đó gây ra kết quả cho bệnh nhân hay các phân nhóm kết quả có ý nghĩa lâm sàng. Nguồn không báo cáo xác nhận lâm sàng, thử nghiệm triển vọng, hiệu quả điều trị hoặc bằng chứng cho thấy phương pháp này cải thiện các quyết định y tế. Những vấn đề chưa biết đó trước khi tiếp cận có thể cung cấp thông tin hữu ích cho việc chăm sóc bệnh nhân.
Việc áp dụng thực tế sẽ phụ thuộc vào việc liệu những người dùng dự định có thể hiểu và thách thức các mô hình địa phương mà không nhầm lẫn chúng với sự giải thích đầy đủ về cách thức hoạt động của giáo viên hộp đen hay không. Các chi tiết quan trọng không được cung cấp trong nguồn bao gồm chi phí tính toán, số lượng tính năng thường tồn tại sau hình phạt thưa thớt, cách giải thích so sánh với các đường cơ sở đơn giản hơn và điều gì xảy ra khi sự phù hợp cục bộ không ổn định hoặc mâu thuẫn. Những câu hỏi đó sẽ xác định liệu việc chưng cất cục bộ có trở thành một công cụ kiểm tra hữu ích hay chủ yếu vẫn là một kỹ thuật nghiên cứu.