Nhúng theo ngữ cảnh ELMo
ELMo (Nhúng từ mô hình ngôn ngữ) là một bước đột phá năm 2018 giúp mỗi từ được thể hiện bằng câu của nó, vì vậy 'ngân hàng' trong 'bờ sông' khác với 'ngân hàng' trong 'ngân hàng tiết kiệm'. Nó đánh dấu sự chuyển đổi từ vectơ từ tĩnh sang NLP nhận biết ngữ cảnh.
Lặn sâu
ELMo, được giới thiệu bởi Viện Allen dành cho các nhà nghiên cứu AI (Peters và cộng sự, 2018), tạo ra các cách biểu diễn từ bằng cách chạy một câu thông qua mô hình ngôn ngữ LSTM hai chiều sâu được đào tạo trên kho ngữ liệu hàng tỷ từ. Không giống như Word2Vec hay GloVe vốn chỉ định một vectơ cố định cho mỗi từ, ELMo tính toán một vectơ mới cho mỗi lần xuất hiện dựa trên ngữ cảnh xung quanh. Điều quan trọng, ELMo kết hợp tất cả các lớp LSTM nội bộ thông qua các trọng số dành riêng cho nhiệm vụ đã học, thay vì chỉ sử dụng lớp trên cùng. Các lớp thấp hơn có xu hướng nắm bắt cú pháp (phần lời nói, cấu trúc) trong khi các lớp cao hơn nắm bắt ngữ nghĩa và ý nghĩa của từ. Việc thêm ELMo vào các mô hình hiện có đã mang lại lợi ích lớn cho sáu nhiệm vụ chuẩn, bao gồm trả lời câu hỏi, phân tích cảm tính và nhận dạng thực thể được đặt tên.
Hiểu biết kỹ thuật
ELMo xếp chồng hai LSTM: một mô hình ngôn ngữ chuyển tiếp dự đoán từ tiếp theo và một mô hình ngôn ngữ lùi dự đoán từ trước đó, mỗi LSTM dựa trên đầu vào CNN cấp ký tự (để xử lý các từ không nhìn thấy). Đối với tác vụ xuôi dòng, ELMo thu gọn các biểu diễn lớp bằng cách sử dụng các trọng số chuẩn hóa softmax cộng với đại lượng vô hướng, tất cả đã học được trong quá trình tinh chỉnh. Điều này có nghĩa là mỗi tác vụ có thể quyết định lượng tín hiệu cú pháp và ngữ nghĩa mà nó muốn từ biLM đã được huấn luyện trước đã được cố định.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của nhúng theo ngữ cảnh ELMo
Ý tưởng cốt lõi của ELMo, cách trình bày theo ngữ cảnh từ quá trình đào tạo trước mô hình ngôn ngữ, đã trở thành nền tảng, nhưng kiến trúc LSTM tái diễn của nó đã nhanh chóng bị các mô hình dựa trên Transformer như BERT lu mờ vào cuối năm 2018, vốn đọc toàn bộ câu song song và mở rộng quy mô tốt hơn nhiều. Ngày nay ELMo chủ yếu có tầm quan trọng về mặt lịch sử và giáo dục, mặc dù các ý tưởng xử lý đầu vào CNN và trọng số lớp vẫn ảnh hưởng đến công việc nhúng chuyên biệt trong các ngôn ngữ giàu hình thái và tài nguyên thấp.
Triển khai trong thế giới thực
Cải thiện hệ thống nhận dạng thực thể được đặt tên để cho biết 'Washington' đề cập đến một người, tiểu bang hoặc thành phố dựa trên các từ xung quanh
Tăng cường phân tích tình cảm bằng cách nắm bắt 'ốm' có nghĩa là tiêu cực trong 'Tôi cảm thấy ốm' nhưng tích cực trong tiếng lóng 'đó là bệnh'
Nâng cao hệ thống trả lời câu hỏi trên điểm chuẩn SQuAD bằng cách cung cấp vectơ mã thông báo theo ngữ cảnh vào đầu đọc
Phân biệt nghĩa của từ trong dịch máy để các từ đa nghĩa như 'thực vật' dịch chính xác theo ngữ cảnh
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ELMo Contextual Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Nhúng từ
Câu hỏi thường gặp
What is ELMo Contextual Embeddings?
ELMo (Nhúng từ mô hình ngôn ngữ) là một bước đột phá năm 2018 giúp mỗi từ được thể hiện bằng câu của nó, vì vậy 'ngân hàng' trong 'bờ sông' khác với 'ngân hàng' trong 'ngân hàng tiết kiệm'. Nó đánh dấu sự chuyển đổi từ vectơ từ tĩnh sang NLP nhận biết ngữ cảnh.
Sự khác biệt chính giữa ELMo và các phần nhúng trước đó như Word2Vec là gì?
ELMo tạo ra các phần nhúng theo ngữ cảnh: vectơ cho một từ thay đổi dựa trên câu xung quanh, không giống như vectơ cố định duy nhất cho mỗi từ của Word2Vec.
ELMo sử dụng kiến trúc thần kinh nào để đọc văn bản?
ELMo được xây dựng trên LSTM hai chiều sâu được đào tạo dưới dạng mô hình ngôn ngữ, xử lý các chuỗi theo định kỳ.
ELMo kết hợp các lớp bên trong của nó cho tác vụ xuôi dòng như thế nào?
ELMo tìm hiểu các trọng số chuẩn hóa softmax dành riêng cho nhiệm vụ để kết hợp tất cả các lớp biLM, cho phép mỗi nhiệm vụ nhấn mạnh cú pháp hoặc ngữ nghĩa nếu cần.
ELMo sử dụng đơn vị đầu vào nào để xử lý các từ không nhìn thấy?
ELMo xây dựng các từ đầu vào từ CNN cấp ký tự để nó có thể biểu thị những từ mà nó chưa từng thấy trong quá trình đào tạo.
Đại khái ELMo được giới thiệu khi nào và bởi ai?
ELMo được xuất bản vào năm 2018 bởi Peters et al. tại Viện AI Allen (AI2).