Chuyện gì đã xảy ra
Các nhà nghiên cứu đã giới thiệu ATHENA, một khung tìm kiếm kiến trúc thần kinh tác nhân được hướng dẫn bằng tri thức dành cho mô hình hồ sơ sức khỏe điện tử dựa trên . Hệ thống được thiết kế để giảm bớt nỗ lực thủ công và chi phí tính toán trong việc lựa chọn kiến trúc mô hình cho các nhiệm vụ dự đoán lâm sàng.
Bài gửi arXiv mô tả ATHENA, viết tắt của “Chuyển giao tác nhân qua các bệnh viện để tìm kiếm kiến trúc thần kinh EHR”. Mục tiêu của nó là mô hình hóa hồ sơ sức khỏe điện tử dựa trên , trong đó các nhà nghiên cứu phải lựa chọn trong số các cấu hình kiến trúc để dự đoán lâm sàng. Các tác giả cho rằng việc tìm kiếm kiến trúc thần kinh thông thường là tốn kém vì các thiết kế Transformer ứng cử viên có thể yêu cầu đào tạo đáng kể, trong khi việc điều chỉnh thủ công có thể tốn nhiều công sức và có thể không chuyển giao rõ ràng giữa các bệnh viện hoặc nhiệm vụ. Do đó, khung này được trình bày như một quy trình tìm kiếm để lựa chọn trong số các thiết kế mô hình, chứ không phải như một phương pháp điều trị lâm sàng mới hoặc như bằng chứng cho thấy bất kỳ kiến trúc cụ thể nào cũng nên được sử dụng phổ biến. So sánh được báo cáo là về quá trình tìm kiếm trong các điều kiện thử nghiệm đã nêu.
ATHENA trước tiên tạo ra một siêu mạng chia sẻ trọng lượng được đào tạo trước một lần cho mỗi bệnh viện. Sau đó, các kiến trúc ứng viên có thể được khởi tạo dưới dạng mạng con kế thừa và được đánh giá thông qua tinh chỉnh, thay vì được đào tạo độc lập ngay từ đầu. Thiết kế này nhằm mục đích làm cho việc so sánh kiến trúc lặp đi lặp lại ít tốn kém hơn. Nguồn không cung cấp thời gian đào tạo cơ bản, yêu cầu phần cứng hoặc tiết kiệm tài nguyên trong bản tóm tắt của nó, vì vậy quy mô thực tế của mức giảm đó vẫn chưa được biết.
Khung này cũng sử dụng kiến trúc bệnh viện chéo hai lớp trước đó. Một lớp truy xuất các ví dụ kiến trúc có hiệu suất cao từ các trang nguồn bằng cách sử dụng bộ mô tả tác vụ. Phần còn lại ước tính tác động của các thành phần kiến trúc thông qua hồi quy meta dựa trên SHAP. Những ưu tiên đó được cung cấp cho quy trình tìm kiếm mô hình ngôn ngữ lớn đa tác nhân, quy trình này cũng nhận được phản hồi xác thực từ bệnh viện mục tiêu. Qua sáu nhiệm vụ dự đoán lâm sàng và hai hệ thống y tế độc lập, các tác giả báo cáo rằng ATHENA phù hợp hoặc vượt trội hơn bốn đường cơ sở tìm kiếm kiến trúc thần kinh ở 9 trên 12 đánh giá nhiệm vụ bệnh viện khi bị giới hạn trong ngân sách tìm kiếm là 30. Họ cũng báo cáo lựa chọn kiến trúc nhất quán hơn qua các tìm kiếm lặp lại. Đây là những tuyên bố từ một bản in trước arXiv và đoạn trích nguồn không xác định bệnh viện, nhiệm vụ, cấu hình cơ bản, giá trị hiệu suất tuyệt đối hoặc độ không đảm bảo về mặt thống kê.
Tại sao nó quan trọng
Cách tiếp cận này giải quyết một vấn đề thực tế trong AI chăm sóc sức khỏe: một kiến trúc mô hình hoạt động tốt cho một nhiệm vụ hoặc bệnh viện có thể không phải là lựa chọn tốt nhất cho nhiệm vụ khác. Việc sử dụng lại kiến thức kiến trúc giữa các tổ chức có thể giúp việc phát triển mô hình hiệu quả hơn, nhưng nguồn không tạo ra lợi ích lâm sàng hoặc mức độ sẵn sàng triển khai.
Nghiên cứu này rất phù hợp vì việc lựa chọn kiến trúc có thể định hình hiệu suất và chi phí vận hành của các hệ thống AI lâm sàng. Các bệnh viện thường khác nhau về số lượng bệnh nhân, phương pháp mã hóa, cấu trúc hồ sơ và mục tiêu dự đoán. Phương pháp tìm kiếm có thể sử dụng thông tin từ các trang web trước đó trong khi vẫn xác thực các lựa chọn tại trang web mục tiêu có thể giảm thử nghiệm trùng lặp và cung cấp giải pháp thay thế có hệ thống hơn cho việc dựa hoàn toàn vào điều chỉnh thủ công.
Tuyên bố đặc biệt nhất của ATHENA không chỉ đơn giản là LLM tham gia tìm kiếm mô hình. Nó kết hợp các trọng số kế thừa, chuyển viện giữa các bệnh viện, phân tích cấp thành phần và phản hồi xác thực trong một quy trình làm việc. Sự kết hợp đó có thể hữu ích cho các nhóm cần so sánh nhiều lựa chọn kiến trúc với ngân sách điện toán cố định. Kết quả 9 trên 12 được báo cáo cho thấy một lợi thế có thể có trong cài đặt được thử nghiệm, trong khi tính nhất quán được báo cáo qua các tìm kiếm lặp lại có thể quan trọng đối với khả năng tái tạo: một phương pháp chọn nhiều lần các thiết kế tương tự có thể dễ kiểm tra và vận hành hơn so với phương pháp có các lựa chọn rất khác nhau.
Bằng chứng không cho thấy ATHENA cải thiện việc chăm sóc bệnh nhân, thay đổi quyết định của bác sĩ lâm sàng hoặc hoạt động an toàn trong môi trường chăm sóc sức khỏe trực tiếp. Nguồn báo cáo các đánh giá tìm kiếm mô hình, không phải các thử nghiệm lâm sàng trong tương lai hoặc kết quả triển khai. Nó cũng không chứng minh rằng việc chuyển giao kiến thức kiến trúc sẽ bảo toàn hiệu suất cho các nhóm ít được đại diện, các hệ thống tài liệu khác nhau hoặc các bệnh viện có dữ liệu hạn chế. Vì nguồn là bản đệ trình của arXiv nên các phát hiện của nó phải được coi là sơ bộ cho đến khi được kiểm tra độc lập. Tuyên bố về mã công khai có thể hỗ trợ khả năng tái tạo, nhưng văn bản nguồn được cung cấp ở đây không cung cấp liên kết kho lưu trữ hoặc đủ chi tiết triển khai để đánh giá mức độ dễ dàng mà những người khác có thể tái tạo các thử nghiệm.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Xem gì tiếp theo
Các câu hỏi chính là liệu lợi thế được báo cáo của ATHENA có tồn tại được trong việc nhân rộng độc lập, thử nghiệm nhiệm vụ và bệnh viện rộng hơn cũng như kiểm soát mạnh mẽ hơn đối với sự khác biệt về dữ liệu và thể chế hay không. Công việc trong tương lai cũng cần làm rõ các lựa chọn kiến trúc ảnh hưởng như thế nào đến độ chính xác, hiệu chuẩn, tính công bằng, quyền riêng tư, yêu cầu tính toán và việc ra quyết định lâm sàng.
Việc sao chép phải là thử nghiệm đầu tiên. Các nhóm độc lập sẽ cần điều hành ATHENA trên các bệnh viện và nhiệm vụ bổ sung, so sánh nó với ngân sách tìm kiếm được kết hợp cẩn thận và xác định xem lợi thế được báo cáo đến từ tìm kiếm tác nhân, siêu mạng chia sẻ trọng lượng, liên bệnh viện trước đó hay sự kết hợp nào đó. Kết quả phải bao gồm các số liệu dự đoán tuyệt đối và độ không chắc chắn thay vì chỉ đếm số lượng đánh giá trong đó một phương pháp phù hợp hoặc vượt quá phương pháp khác.
Cơ chế chuyển giao cũng đáng được giám sát chặt chẽ. Việc sử dụng các ví dụ kiến trúc từ các bệnh viện nguồn có thể hữu ích, nhưng giá trị của những ví dụ đó có thể phụ thuộc vào mức độ chính xác mà các bộ mô tả nhiệm vụ nắm bắt được sự khác biệt giữa các tổ chức. Các nhà nghiên cứu nên báo cáo khi các linh mục được chuyển giao không thành công, liệu họ có thể thiên vị tìm kiếm theo các thiết kế phù hợp với một nhóm dân cư hay không và cách hệ thống xử lý những thay đổi về mã hóa, tính sẵn có của dữ liệu hoặc thực hành lâm sàng. Các câu hỏi về quyền riêng tư và quản trị cũng rất quan trọng nếu bản tóm tắt kiến trúc hoặc thông tin hiệu suất được chuyển giao giữa các tổ chức, ngay cả khi hồ sơ cấp độ bệnh nhân không được chuyển đi.
Cuối cùng, đánh giá thực tế nên mở rộng ra ngoài hiệu suất dự đoán. Các biện pháp tiếp theo quan trọng bao gồm hiệu chuẩn, hoạt động của nhóm con, độ chắc chắn đối với các bản ghi bị thiếu hoặc bị dịch chuyển, chi phí tìm kiếm, mức sử dụng năng lượng và độ ổn định của các kiến trúc được chọn theo thời gian. Nguồn không cho biết liệu ATHENA đã được sử dụng trong quy trình làm việc lâm sàng, đã nhận được đánh giá theo quy định hay đưa ra khuyến nghị dành cho bệnh nhân hay chưa. Cho đến khi những câu hỏi đó được trả lời, kết luận được hỗ trợ mạnh mẽ nhất là bài viết đề xuất và đánh giá sơ bộ một phương pháp hiệu quả hơn để tìm kiếm kiến trúc mô hình EHR.