Mô hình tuần tự
Mô hình trình tự theo trình tự ánh xạ trình tự này sang trình tự khác có độ dài có thể khác nhau, chẳng hạn như dịch một câu hoặc tóm tắt một tài liệu.
Tổng quan
They introduced the encoder-decoder design and the attention mechanism that paved the way for the Transformer.
Lặn sâu
Mô hình tuần tự theo trình tự (seq2seq) có hai phần: bộ mã hóa đọc chuỗi đầu vào và nén ý nghĩa của nó và bộ giải mã tạo ra chuỗi đầu ra một mã thông báo tại một thời điểm. Tác phẩm mang tính bước ngoặt năm 2014 của Sutskever, Vinyals và Lê đã sử dụng LSTM xếp chồng để dịch máy. Một điểm yếu xuất hiện: việc nhồi nhét cả câu vào một vectơ có độ dài cố định sẽ làm mất thông tin ở những đầu vào dài. Vào năm 2015, Bahdanau đã giới thiệu tính năng chú ý, cho phép bộ giải mã nhìn lại tất cả các trạng thái của bộ mã hóa và tập trung vào những trạng thái phù hợp nhất cho mỗi từ đầu ra. Điều này đã giải quyết được nút thắt cổ chai và cải thiện đáng kể khả năng dịch thuật. Ý tưởng này khái quát hóa mọi tác vụ văn bản từ đầu vào đến đầu ra và trực tiếp truyền cảm hứng cho kiến trúc tự chú ý đầy đủ của Transformer vào năm 2017.
Hiểu biết kỹ thuật
Bộ mã hóa tạo ra một chuỗi các trạng thái ẩn; bộ giải mã tạo ra các đầu ra tự động hồi quy, dựa trên các đầu ra trước đó và bối cảnh bộ mã hóa. Chú ý tính toán tổng có trọng số của các trạng thái bộ mã hóa bằng cách sử dụng điểm căn chỉnh, do đó, mỗi bước giải mã sẽ vẽ một vectơ ngữ cảnh tùy chỉnh. Điều này tách riêng độ dài đầu ra khỏi một vectơ thắt cổ chai duy nhất và cung cấp sự liên kết mềm giữa các vị trí đầu vào và đầu ra, điều này cũng có thể hiểu được khi các từ nguồn điều khiển từng từ được dịch.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của các mô hình tuần tự
Seq2seq hiện đại bị chi phối bởi các mô hình bộ mã hóa-giải mã Transformer như T5 và BART, đóng khung gần như mọi tác vụ NLP dưới dạng chuyển văn bản thành văn bản. Seq2seq dựa trên RNN phần lớn mang tính lịch sử, nhưng mẫu bộ mã hóa-giải mã phát triển mạnh trong lĩnh vực dịch thuật, tóm tắt và nhận dạng giọng nói. Mong đợi sự tăng trưởng liên tục của các hệ thống seq2seq đa ngôn ngữ và đa phương thức, cộng với mức tăng hiệu quả từ các bộ giải mã không tự hồi quy và chắt lọc, phát ra đầu ra nhanh hơn trong khi vẫn đảm bảo chất lượng.
Triển khai trong thế giới thực
Hệ thống dịch máy chuyển đổi câu tiếng Anh sang tiếng Pháp hoặc tiếng Nhật.
Tóm tắt văn bản trừu tượng viết lại các bài viết dài thành các bản tóm tắt ngắn.
Nhận dạng giọng nói ánh xạ chuỗi dạng sóng âm thanh vào bản ghi văn bản.
Chatbot và hệ thống đối thoại ánh xạ lời nói của người dùng tới câu trả lời được tạo.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sequence-to-Sequence Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Buộc giáo viên trong các mô hình trình tự
Câu hỏi thường gặp
What is Sequence-to-Sequence Models?
Mô hình trình tự theo trình tự ánh xạ trình tự này sang trình tự khác có độ dài có thể khác nhau, chẳng hạn như dịch một câu hoặc tóm tắt một tài liệu. Họ đã giới thiệu thiết kế bộ mã hóa-giải mã và cơ chế chú ý đã mở đường cho Transformer.
Hai thành phần chính của mô hình tuần tự là gì?
Bộ mã hóa đọc và nén đầu vào, còn bộ giải mã tạo ra chuỗi đầu ra.
Cơ chế chú ý đã giải quyết được vấn đề chính nào trong các mô hình seq2seq?
Chú ý để bộ giải mã truy cập tất cả các trạng thái của bộ mã hóa thay vì dựa vào một vectơ nén duy nhất, khắc phục hiệu suất câu dài.
Mô hình dịch seq2seq 2014 ban đầu đã sử dụng kiến trúc nào?
Sutskever và cộng sự. đã sử dụng các mạng tái phát LSTM xếp chồng cho bộ mã hóa và bộ giải mã.
Sự chú ý xây dựng bối cảnh cho từng bước giải mã như thế nào?
Sự chú ý chỉ định trọng số cho trạng thái bộ mã hóa để mỗi bước đầu ra tập trung vào các vị trí đầu vào phù hợp nhất.
Tại sao đầu ra seq2seq có thể có độ dài khác với đầu vào?
Bộ giải mã tạo tự động hồi quy và có thể dừng ở mã thông báo cuối chuỗi, cho phép độ dài đầu ra thay đổi.