Tiếp theoHướng dẫn tiếp theo
Xác thực dữ liệu với những kỳ vọng lớn
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Tối đa hóa kỳ vọng (EM) ước tính các tham số mô hình khi dữ liệu bao gồm các biến không được quan sát hoặc các giá trị bị thiếu bằng cách xen kẽ giữa ước tính kỳ vọng biến tiềm ẩn và tối đa hóa mục tiêu tham số.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Mỗi lần lặp lại có thể cải thiện khả năng xảy ra của dữ liệu được quan sát trong các điều kiện phù hợp, nhưng độ hội tụ có thể ở mức tối ưu cục bộ và không chứng minh được rằng mô hình là chính xác.
EM là một phương pháp lặp để ước tính khả năng xảy ra tối đa khi mô hình có các biến tiềm ẩn hoặc quan sát không đầy đủ. Khả năng tối ưu hóa dữ liệu hoàn chỉnh sẽ dễ dàng hơn nếu biết thông tin ẩn. EM xen kẽ hai bước bằng cách sử dụng ước tính tham số hiện tại. Bước kỳ vọng (E-step) tính toán kỳ vọng có điều kiện về khả năng xảy ra của nhật ký dữ liệu hoàn chỉnh dựa trên dữ liệu được quan sát và các thông số hiện tại. Bước tối đa hóa (M-step) chọn các tham số cập nhật để tối đa hóa số lượng dự kiến này. Trong hỗn hợp Gaussian, thành phần thành phần bị ẩn. Đối với mỗi quan sát, bước E tính toán trách nhiệm: xác suất thuộc về từng thành phần theo phương tiện hiện tại, hiệp phương sai và trọng số hỗn hợp. Bước M cập nhật các tham số đó bằng cách sử dụng các trách nhiệm dưới dạng trọng số phân số. Việc lặp lại các bước này cho phép các bài tập và mô tả thành phần được tinh chỉnh lẫn nhau. Trách nhiệm không phải là nhãn hiệu cứng nhắc trừ khi có quyết định phân loại bổ sung. Thuộc tính quan trọng là các bản cập nhật EM chính xác không làm giảm khả năng dữ liệu được quan sát theo giả định của thuật toán. Điều này không có nghĩa là mọi lần lặp đều tìm thấy mức tối đa toàn cục. Khả năng có thể có nhiều tối ưu cục bộ và kết quả có thể phụ thuộc vào việc khởi tạo. Một hỗn hợp cũng có thể biểu hiện sự suy biến, vì vậy việc triển khai thực tế sử dụng các tiêu chí bảo vệ và hội tụ. Một thay đổi nhỏ về thông số hoặc khả năng cải thiện cho thấy việc dừng ở mức dung sai bằng số; nó không phải là bằng chứng về một mô hình phù hợp về mặt khoa học. EM không bị giới hạn trong việc phân cụm hỗn hợp. Nó có thể xử lý dữ liệu bị thiếu hoặc các mô hình biến tiềm ẩn khi các bước tối đa hóa và kỳ vọng có điều kiện có thể được tính toán hoặc ước tính. EM tổng quát cho phép bước M tăng lên, thay vì tối đa hóa chính xác mục tiêu mong đợi. Các biến thể ngẫu nhiên giải quyết một số cài đặt lớn hơn. Luôn kiểm tra quỹ đạo khả năng, độ nhạy khởi tạo và các giả định của mô hình. Nếu các danh mục được chỉ định không chính xác, dữ liệu phụ thuộc theo cách không được mô hình hóa hoặc số thành phần hỗn hợp đã chọn sai, thì việc hội tụ số thành công không thể khắc phục được sự không khớp về mặt khoa học. So sánh sự phù hợp bằng cách sử dụng bằng chứng được đưa ra hoặc các tiêu chí khác phù hợp với mục tiêu và truyền đạt sự không chắc chắn về các nhiệm vụ tiềm ẩn.
Một mô hình hỗn hợp giả thuyết bắt đầu với các tham số thành phần Gaussian dự kiến. Bước E tính toán trách nhiệm của từng quan sát đối với từng thành phần; bước M cập nhật trọng số, phương tiện và phương sai của thành phần bằng cách sử dụng các trách nhiệm đó.
Nhà phân tích dữ liệu ước tính các mục còn thiếu theo mô hình xác suất được chỉ định bằng cách tính toán số liệu thống kê đầy đủ về dữ liệu đầy đủ dự kiến, sau đó tối đa hóa các tham số bằng cách sử dụng những kỳ vọng đó.
Một nhóm chạy EM từ một số lần khởi tạo và so sánh các khả năng và nhiệm vụ cuối cùng. Các kết quả khác nhau cho thấy độ nhạy cảm với các giá trị ban đầu thay vì sự phù hợp nhất được đảm bảo duy nhất.
Trong hình minh họa hỗn hợp tiền xu, biến ẩn cho biết đồng tiền nào đã tạo ra chuỗi. E-step ước tính xác suất thành viên của thành phần; bước M cập nhật độ lệch của từng đồng xu dựa trên số lượng đầu và đuôi có trọng số.
Các phân tích EM có thể được thực hiện dễ dàng hơn bằng cách lưu lại chiến lược khởi tạo, dấu vết khả năng, dung sai dừng và phạm vi kết quả khi khởi động lại. Đối với các nhiệm vụ tiềm ẩn, các báo cáo nên giữ lại các trách nhiệm nhẹ nhàng khi có vấn đề không chắc chắn thay vì chỉ hiển thị thành phần chiến thắng. Việc lựa chọn mô hình phải được đánh giá riêng biệt với việc tối ưu hóa tham số, vì EM phù hợp với số lượng thành phần đã chọn không xác định số lượng đó. Giám sát có thể xác định khi nào dữ liệu mới tạo ra khả năng kém hoặc cấu trúc thành phần thay đổi. Các công cụ khởi tạo và tối ưu hóa tốt hơn có thể cải thiện độ tin cậy, trong khi việc diễn giải vẫn phụ thuộc vào việc liệu mô hình tiềm ẩn có mô tả một quy trình có ý nghĩa hay không.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Tối đa hóa kỳ vọng (EM) ước tính các tham số mô hình khi dữ liệu bao gồm các biến không được quan sát hoặc các giá trị bị thiếu bằng cách xen kẽ giữa ước tính kỳ vọng biến tiềm ẩn và tối đa hóa mục tiêu tham số. Mỗi lần lặp lại có thể cải thiện khả năng xảy ra của dữ liệu được quan sát trong các điều kiện phù hợp, nhưng độ hội tụ có thể ở mức tối ưu cục bộ và không chứng minh được rằng mô hình là chính xác.
Bước E tính toán các kỳ vọng có điều kiện liên quan đến số lượng tiềm ẩn hoặc còn thiếu theo các tham số hiện tại.
Trách nhiệm định lượng xác suất hiện tại của từng thành phần trong việc tạo ra một quan sát và tính tổng thành một trên các thành phần.
Bước M cập nhật các tham số để tối đa hóa khả năng ghi nhật ký dữ liệu hoàn chỉnh dự kiến.
EM chính xác là đơn điệu trong khả năng quan sát được nhưng có thể hội tụ đến mức tối ưu cục bộ.
Khả năng không lồi có thể dẫn đến các giải pháp khác nhau từ các điểm xuất phát khác nhau.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Xác thực dữ liệu với những kỳ vọng lớn
kỹ thuật