Mô hình ngôn ngữ đeo mặt nạ
Mô hình hóa ngôn ngữ đeo mặt nạ dạy AI điền các từ được ẩn có chủ ý bằng cách sử dụng toàn bộ bối cảnh xung quanh, cả bên trái và bên phải.
Tổng quan
It's the training trick behind BERT and the reason models can deeply understand sentence meaning rather than just predict what comes next.
Lặn sâu
Trong mô hình ngôn ngữ đeo mặt nạ (MLM), bạn lấy một câu, ẩn ngẫu nhiên khoảng 15% mã thông báo của nó bằng ký hiệu [MASK] đặc biệt và huấn luyện mô hình đoán bản gốc. Bởi vì mô hình nhìn thấy các từ ở cả hai mặt của mỗi chỗ trống nên nó xây dựng sự hiểu biết hai chiều về ngữ cảnh. BERT, được Google giới thiệu vào năm 2018, đã phổ biến điều này. Một chi tiết thông minh: trong số các vị trí đeo mặt nạ, khoảng 80% trở thành [MASK], 10% được hoán đổi cho một từ ngẫu nhiên và 10% được giữ nguyên. Điều này ngăn mô hình chỉ mong đợi mã thông báo [MASK] tại thời điểm dự đoán và buộc mô hình phải mạnh mẽ. Sau quá trình đào tạo trước này, mô hình sẽ được tinh chỉnh cho các nhiệm vụ như phân loại, trả lời câu hỏi và nhận dạng thực thể được đặt tên.
Hiểu biết kỹ thuật
MLM sử dụng bộ mã hóa Transformer với khả năng tự chú ý hai chiều, do đó mọi mã thông báo đều tham dự đồng thời vào tất cả các mã thông báo khác. Khoản lỗ chỉ được tính trên các vị trí bị che bằng cách sử dụng entropy chéo so với ID mã thông báo thực. Bởi vì sự chú ý là không nhân quả (không che giấu trong tương lai), nên cách biểu diễn cho mỗi từ sẽ hợp nhất ngữ cảnh bên trái và bên phải thành một vectơ dày đặc. Tính hai chiều đó chính xác là điều mà các mô hình mã thông báo tiếp theo phải từ bỏ để có khả năng tạo ra.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của mô hình ngôn ngữ đeo mặt nạ
MLM thuần túy đã bị lu mờ một phần bởi các mô hình giải mã tổng quát dành cho chatbot, nhưng nó vẫn chiếm ưu thế trong việc nhúng, truy xuất và phân loại trong đó hiểu được việc tạo nhịp. Các biến thể như RoBERTa, phát hiện mã thông báo thay thế của ELECTRA và DeBERTa tiếp tục nâng cao độ chính xác và hiệu quả. Mong đợi các bộ mã hóa kiểu MLM sẽ giữ vai trò trung tâm trong tìm kiếm, sự tương đồng về ngữ nghĩa và là các thành phần nhẹ bên trong các hệ thống đa phương thức và tăng cường truy xuất lớn hơn, nơi khả năng hiểu nhanh, sâu quan trọng hơn văn bản dạng tự do.
Triển khai trong thế giới thực
Hỗ trợ Google khả năng hiểu biết dựa trên BERT của Tìm kiếm về các truy vấn hội thoại để trả về các trang có liên quan hơn.
Tạo các câu nhúng cho hệ thống tìm kiếm ngữ nghĩa và truy xuất tài liệu.
Tinh chỉnh BERT để phân tích cảm tính về đánh giá sản phẩm hoặc phiếu hỗ trợ.
Nhận dạng thực thể được đặt tên giúp trích xuất con người, tổ chức và ngày tháng từ văn bản pháp lý hoặc y tế.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Masked Language Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mô hình ngôn ngữ
Câu hỏi thường gặp
What is Masked Language Modeling?
Mô hình hóa ngôn ngữ đeo mặt nạ dạy AI điền các từ được ẩn có chủ ý bằng cách sử dụng toàn bộ bối cảnh xung quanh, cả bên trái và bên phải. Đó là thủ thuật đào tạo đằng sau BERT và lý do khiến các mô hình có thể hiểu sâu sắc ý nghĩa của câu thay vì chỉ dự đoán điều gì xảy ra tiếp theo.
Nhiệm vụ đào tạo cốt lõi trong mô hình ngôn ngữ mặt nạ là gì?
MLM ẩn một phần mã thông báo và huấn luyện mô hình để khôi phục chúng bằng cả ngữ cảnh bên trái và bên phải.
BERT thường che giấu khoảng bao nhiêu phần trăm mã thông báo trong quá trình đào tạo trước?
BERT che giấu khoảng 15% mã thông báo đầu vào, cân bằng giữa việc cung cấp đủ tín hiệu và để lại đủ ngữ cảnh.
Tại sao MLM đưa ra sự hiểu biết hai chiều về mô hình?
Bộ mã hóa Transformer sử dụng khả năng tự chú ý phi nhân quả, vì vậy mọi mã thông báo đều có thể nhìn thấy tất cả các mã thông báo khác ở cả hai bên.
Trong sơ đồ che giấu của BERT, điều gì xảy ra với khoảng 10% vị trí được chọn thay vì trở thành [MẶT NẠ]?
Để cải thiện độ mạnh mẽ, 10% vị trí bị che được hoán đổi lấy mã thông báo ngẫu nhiên và 10% được giữ nguyên.
Khoản lỗ MLM được tính ở những vị thế nào?
Mất entropy chéo chỉ được áp dụng cho các vị trí bị che, so sánh dự đoán với ID mã thông báo ban đầu.